Apache Spark 无法在我的Windows上加载适用于您的平台的本机Hadoop库

imzjd6km  于 2023-01-21  发布在  Apache
关注(0)|答案(1)|浏览(121)

我已经在我的windows上安装了java 64bit,我已经创建了虚拟文本文件来测试我的pycharm上的Spark。

from pyspark.sql import SparkSession
someFile = "dummy.txt"
spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
print(spark.read.text(someFile).count())

后来,它给我回了这样一条信息。

C:\Users\jinfe\PycharmProjects\pythonProject3\venv\Scripts\python.exe C:\Users\jinfe\PycharmProjects\pythonProject3\pysparkdemo.py 
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
23/01/20 00:44:39 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
3

Process finished with exit code 0

当我在网上谷歌这个问题时,它都说明是由于错误安装了32位java。但是,确实安装了64位java,有没有人能帮助我解决这个问题

rqqzpn5f

rqqzpn5f1#

您可以忽略该警告。您的代码打印了3,即文件中的行数,并以

相关问题