如果将新作业提交到apache群集,则状态页通常指示作业实际提交的方式(除其他外):
Application Type: SPARK
这表明用户很可能使用spark submit向资源管理器发出新作业。是否可以通过参数更改字符串的值,就像更改应用程序名称一样?
f0brbegy1#
应用程序类型是在spark设置Yarn应用程序上下文时设置的。好吧,这是不可能改变它的一些配置手段。如果它真的很重要,您将不得不在源代码中重写它。实施如下:,https://github.com/apache/spark/blob/01c3dfab158d40653f8ce5d96f57220297545d5b/resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/client.scala#l241
1条答案
按热度按时间f0brbegy1#
应用程序类型是在spark设置Yarn应用程序上下文时设置的。
好吧,这是不可能改变它的一些配置手段。如果它真的很重要,您将不得不在源代码中重写它。
实施如下:,https://github.com/apache/spark/blob/01c3dfab158d40653f8ce5d96f57220297545d5b/resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/client.scala#l241