我已经在我的windows上安装了java 64bit,我已经创建了虚拟文本文件来测试我的pycharm上的Spark。
from pyspark.sql import SparkSession
someFile = "dummy.txt"
spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
print(spark.read.text(someFile).count())
后来,它给我回了这样一条信息。
C:\Users\jinfe\PycharmProjects\pythonProject3\venv\Scripts\python.exe C:\Users\jinfe\PycharmProjects\pythonProject3\pysparkdemo.py
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
23/01/20 00:44:39 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
3
Process finished with exit code 0
当我在网上谷歌这个问题时,它都说明是由于错误安装了32位java。但是,确实安装了64位java,有没有人能帮助我解决这个问题
1条答案
按热度按时间rqqzpn5f1#
您可以忽略该警告。您的代码打印了
3
,即文件中的行数,并以