如何像运行python作业一样运行pyspark shell代码

elcex8rz  于 2021-05-29  发布在  Spark
关注(0)|答案(1)|浏览(425)

我是个新手。
我已经在pyspark中创建了spark代码,但是它是repl shell,如何将其作为脚本运行。
我试过了 python script.py 但它失败了,因为它无法访问spark库。

sf6xfgos

sf6xfgos1#

spark-submit script.py 是提交pyspark代码的方法。
在使用之前,请确保pyspark和spark在您的环境中正确设置。
如果还没有完成,请按照下面的链接

相关问题