使用spark submit命令提交pyspark作业

rdrgkggo  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(439)

我已经构建了pyspark应用程序,在程序中除了主python文件之外还有多个python文件,主python文件是通过spark submit命令和--py files选项传递的,我想知道spark如何才能得到spark submit命令中没有通过--py files选项传递的其他python文件。我在python主文件中导入了其他python文件。例如,假设主文件为main.py,其他文件为a.py、b.py。我在主文件中使用以下语句进行导入:

from a import *
from b import *

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题