local://pyspark提交方案

xtfmy6hx  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(250)

这与pyspark有关:从存档内部运行脚本
我可以运行以下命令:

PYSPARK_PYTHON=./pkg/venv/bin/python3 \ 
spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./pkg/venv/bin/python3 \
--master yarn \
--deploy-mode cluster \
--archives hdfs:///package.tgz#pkg \
local://pkg/app/MyScript.py

在纸面上,它是完美的:我的脚本在inside package.tgz中,所以我不需要额外的入门脚本,一切都是独立的。
问题是,无论我在本地uri(single/double/triple)中输入什么 / ,前缀为 . ,垃圾),只有uri的最后一部分幸存下来,最终命令运行失败

./pkg/venv/bin/python3 MyScript.py

哪里 pkg/app 已经被剥光了。当然了, file does not exist .
如何保持完整的uri?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题