livy服务器批处理api重命名通过文件传递的文件选项

bbuxkriu  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(237)

使用livy batches api提交spark作业时,通过files选项传递的文件将被重命名,并且不能在程序中引用。另外,alias不起作用。

"files": ["/tmp/code/applicationconfig.properties" ], "jars":

日志显示它被重命名为随机名称:

20/05/27 22:25:34 INFO Utils: Fetching hdfs:///tmp/code/applicationconfig.properties to /mnt/tmp/spark-d25e3d10-5843-461d-9254-31e7a0f00be7/userFiles-e40caf70-d620-4de3-871a-76e7bb0159cd/fetchFileTemp5945997728485368947.tmp

有谁能告诉我如何将文件分发到每个executor节点,并在spark executor代码中引用它

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题