我使用spark submit将作业提交到运行在yarn上的spark集群，有时通过一个相对较慢的连接。为了避免为每个作业上载156mbspark程序集文件，我设置了配置选项 spark.yarn.jar 到hdfs上的文件。但是，这并不能避免上载，而是从hdfs spark目录获取程序集文件并将其复制到应用程序目录：
$:~/spark-1.4.0-bin-hadoop2.6$ bin/spark-submit --class MyClass --master yarn-cluster --conf spark.yarn.jar=hdfs://node-00b/user/spark/share/lib/spark-assembly.jar my.jar
[...]
15/07/06 21:25:43 INFO yarn.Client: Uploading resource hdfs://node-00b/user/spark/share/lib/spark-assembly.jar -> hdfs://nameservice1/user/XXX/.sparkStaging/application_1434986503384_0477/spark-assembly.jar我原以为程序集文件应该在hdfs中复制，但实际上它似乎又被下载和上传了，这是非常适得其反的。有什么提示吗？
1条答案
按热度按时间vwoqyblh1#
两个hdf必须是同一个系统。请参见此处的相关代码：
https://github.com/apache/spark/blob/37bf76a2de2143ec6348a3d43b782227849520cc/yarn/src/main/scala/org/apache/spark/deploy/yarn/client.scala#l1308
https://github.com/apache/spark/blob/master/yarn/src/main/scala/org/apache/spark/deploy/yarn/client.scala#l1308
为什么不能在nameservice1hdfs上使用spark程序集jar呢？