我尝试在Cloudera VM上的Pyspark中运行Python脚本我先去玩游戏
$ which pyspark $ pyspark
发射Spark后，我试着：
$ spark-submit /home/cloudera/test.py
告诉我“名称'spark'未定义”
$ ./bin/spark-submit /home/cloudera/test.py
显示“语法错误：无效语法”我知道网上有很多类似的问题，但我还是想不出来。有人能帮忙吗？
uurv41yg1#
您必须从集群本身运行spark-submit shell，而不必pysark到它。如果你想以交互方式运行代码（一行一行地输入或者复制/粘贴），那么你可以使用pyspark。
jq6vz3qz2#
通过调用spark-shell检查spark是否按预期安装。还可以尝试PySpark Shell并尝试测试www.example.com文件中的内容test.py。成功后，请尝试spark-submit
2条答案
按热度按时间uurv41yg1#
您必须从集群本身运行spark-submit shell，而不必pysark到它。
如果你想以交互方式运行代码（一行一行地输入或者复制/粘贴），那么你可以使用pyspark。
jq6vz3qz2#
通过调用spark-shell检查spark是否按预期安装。还可以尝试PySpark Shell并尝试测试www.example.com文件中的内容test.py。成功后，请尝试spark-submit