这与pyspark有关:从存档内部运行脚本
我可以运行以下命令:
PYSPARK_PYTHON=./pkg/venv/bin/python3 \
spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./pkg/venv/bin/python3 \
--master yarn \
--deploy-mode cluster \
--archives hdfs:///package.tgz#pkg \
local://pkg/app/MyScript.py
在纸面上,它是完美的:我的脚本在inside package.tgz中,所以我不需要额外的入门脚本,一切都是独立的。
问题是,无论我在本地uri(single/double/triple)中输入什么 /
,前缀为 .
,垃圾),只有uri的最后一部分幸存下来,最终命令运行失败
./pkg/venv/bin/python3 MyScript.py
哪里 pkg/app
已经被剥光了。当然了, file does not exist
.
如何保持完整的uri?
暂无答案!
目前还没有任何答案,快来回答吧!