如何覆盖oozie配置值

vptzau2j  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(230)

我使用cloudera,我有一个oozie工作流,它通过spark触发python的脚本。
在oozie作业的“选项列表”字段中,我添加了以下配置以spark提交:

--name "My app" --conf 'spark.yarn.tags=my-yarn-tag'

当oozie运行此作业时,我的值将被oozie的默认配置覆盖。这是我得到的结果:

Oozie Spark action configuration
=================================================================

                    --master
                    yarn
                    --deploy-mode
                    client
                    --name
                    Oozie Hello World!
                    --class
                    python.py
                    --conf
                    spark.oozie.action.id=xxx
                    --conf
                    spark.oozie.child.mapreduce.job.tags=oozie-475557d4ba0074063442b4da13eeaa64
                    --conf
                    spark.oozie.action.rootlogger.log.level=INFO
                    --name
                    My app
                    --conf
                    'spark.yarn.tags=my-yarn-tag'
                    --conf
                    spark.yarn.localizeConfig=false
                    --conf
                    spark.executor.extraClassPath=$PWD/*
                    --conf
                    spark.driver.extraClassPath=$PWD/*
                    --conf
                    spark.yarn.tags=oozie-475557d4ba0074063442b4da13eeaa64 <-- this one overridden my value

如你所见。 --name "My app" 已经取代了奥齐的名字 --conf 'spark.yarn.tags=my-yarn-tag' 已被oozie的默认标记覆盖。
我的问题是:
有没有办法在oozie中重写/更改spark配置值的顺序?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题