将spark.jars预先添加到workers类路径

uz75evzq  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(566)

我的用例非常简单,我想重写hadoop发行版中的几个类,为此我创建了一个新的jar,我使用spark.jars属性从驱动程序序列化到工作节点。
为了确保我的新jar在workers类路径中优先,我想将它们添加到spark.executor.extraclasspath属性中。
但是,由于我正在用spark.jars序列化这些jar,它们在workers中的路径是动态的,并且包括app id和executor id- <some-work-dir>/<app-id>/<executor-id> .
有办法吗?是否可以在app dir中添加一个dir作为类路径中的第一个?
使用spark 2.4.5独立客户端模式-docker。
p、 我知道可以选择将jar添加到workers映像中,然后将其添加到类路径中,但之后每次代码更改都必须不断更新映像。

b4wnujal

b4wnujal1#

您可以在spark submit上启用此选项: spark.driver.userClassPathFirst=True 请查看spark提交选项文档

相关问题