我用诗歌创作了一个轮子锉刀。我正在运行以下spark submit命令，但它不起作用。我想我遗漏了什么
spark-submit --py-files /path/to/wheel
请注意，我也提到了下面的内容，但没有得到太多的细节，因为我是python新手。如何将python包传递给spark job并从带有参数的包中调用主文件
lb3vh1jj1#
wheel文件可以作为spark submit命令的一部分执行spark submit--deploy mode cluster--py files/path/to/wheel main\u file.py
1条答案
按热度按时间lb3vh1jj1#
wheel文件可以作为spark submit命令的一部分执行
spark submit--deploy mode cluster--py files/path/to/wheel main\u file.py