使用livy batches api提交spark作业时,通过files选项传递的文件将被重命名,并且不能在程序中引用。另外,alias不起作用。
"files": ["/tmp/code/applicationconfig.properties" ], "jars":
日志显示它被重命名为随机名称:
20/05/27 22:25:34 INFO Utils: Fetching hdfs:///tmp/code/applicationconfig.properties to /mnt/tmp/spark-d25e3d10-5843-461d-9254-31e7a0f00be7/userFiles-e40caf70-d620-4de3-871a-76e7bb0159cd/fetchFileTemp5945997728485368947.tmp
有谁能告诉我如何将文件分发到每个executor节点,并在spark executor代码中引用它
暂无答案!
目前还没有任何答案,快来回答吧!