我已经在我的系统上安装了pyspark 3.2沿着了jdk 1.8.0我试图从命令提示符启动pyspark,当我收到以下错误
] was unexpected at this time
字符串
的数据
根据一些研究,我知道这可能与我的环境变量有关,PFB是相关变量
JRE_HOME:C:\Java\jre1.8.0_251
JAVA_HOME:C:\Java\jdk1.8.0_251
PYSPARK_DRIVER_PYTHON:C:\Users\<user>\AppData\Local\Programs\Python\Python39\python.exe
PYSPARK_PYTHON:C:\Users\jaisre\AppData\Local\Programs\Python\Python39\python.exe
SPARK_HOME:C:\spark\spark3.2.0binhadoop3.2
型
我还将以下条目添加到路径变量
C:\Users\jaisre\AppData\Local\Programs\Python\Python39
C:\Users\jaisre\AppData\Local\Programs\Python\Python39\Script
C:\spark\spark3.2.0binhadoop3.2\bin
C:\Java\jdk1.8.0_251\bin
型
请建议如何解决此问题
1条答案
按热度按时间2uluyalo1#
除了Java_Home、Spark_Home和Hadoop_Home环境变量之外,其余变量都不需要设置。如果您查看SPARK_HOME\bin位置的各种脚本(例如:pyspark),则已经编写了逻辑来计算未设置的其余变量路径。交叉验证您设置的路径是否与这些脚本预期的路径匹配。screenshot