如何在Pyspark中运行Python脚本

wtlkbnrh  于 2023-02-18  发布在  Spark
关注(0)|答案(2)|浏览(516)

我尝试在Cloudera VM上的Pyspark中运行Python脚本
我先去玩游戏

$ which pyspark
$ pyspark

发射Spark后,我试着:

$ spark-submit /home/cloudera/test.py

告诉我“名称'spark'未定义”

$ ./bin/spark-submit /home/cloudera/test.py

显示“语法错误:无效语法”
我知道网上有很多类似的问题,但我还是想不出来。有人能帮忙吗?

uurv41yg

uurv41yg1#

您必须从集群本身运行spark-submit shell,而不必pysark到它。
如果你想以交互方式运行代码(一行一行地输入或者复制/粘贴),那么你可以使用pyspark。

jq6vz3qz

jq6vz3qz2#

通过调用spark-shell检查spark是否按预期安装。还可以尝试PySpark Shell并尝试测试www.example.com文件中的内容test.py。成功后,请尝试spark-submit

相关问题