我有一个apachespark集群，由一个主节点和多个从节点组成。在每个节点的jars文件夹中，我需要在spark上运行的程序的jar文件。有定期更新这个jar，所以我发现自己不断复制更新的jar文件。有没有一种简单快捷的方法可以将更新后的jar文件从主节点复制到所有从节点，或者在每次更新jar时分发这个文件的任何其他方法？
egmofgnx1#
使用spark submit运行spark作业时 --jars 选项。使用此选项可以将路径写入所需的jar文件。还有，jar在里面 --jars 选项将自动传输到集群，因此您只需要在主节点上使用这个jar。请在此处阅读如何使用此选项。
--jars
1条答案
按热度按时间egmofgnx1#
使用spark submit运行spark作业时
--jars选项。使用此选项可以将路径写入所需的jar文件。还有，jar在里面
--jars选项将自动传输到集群，因此您只需要在主节点上使用这个jar。请在此处阅读如何使用此选项。