我使用cloudera,我有一个oozie工作流,它通过spark触发python的脚本。
在oozie作业的“选项列表”字段中,我添加了以下配置以spark提交:
--name "My app" --conf 'spark.yarn.tags=my-yarn-tag'
当oozie运行此作业时,我的值将被oozie的默认配置覆盖。这是我得到的结果:
Oozie Spark action configuration
=================================================================
--master
yarn
--deploy-mode
client
--name
Oozie Hello World!
--class
python.py
--conf
spark.oozie.action.id=xxx
--conf
spark.oozie.child.mapreduce.job.tags=oozie-475557d4ba0074063442b4da13eeaa64
--conf
spark.oozie.action.rootlogger.log.level=INFO
--name
My app
--conf
'spark.yarn.tags=my-yarn-tag'
--conf
spark.yarn.localizeConfig=false
--conf
spark.executor.extraClassPath=$PWD/*
--conf
spark.driver.extraClassPath=$PWD/*
--conf
spark.yarn.tags=oozie-475557d4ba0074063442b4da13eeaa64 <-- this one overridden my value
如你所见。 --name "My app"
已经取代了奥齐的名字 --conf 'spark.yarn.tags=my-yarn-tag'
已被oozie的默认标记覆盖。
我的问题是:
有没有办法在oozie中重写/更改spark配置值的顺序?
暂无答案!
目前还没有任何答案,快来回答吧!