我可以提交一个包含多个配置文件的oozie作业吗?

3z6pesqy  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(452)

在oozie cli中,我想执行以下操作:

oozie job -oozie http://host:port/oozie -config jobConfig.properties, baseConfig.properties -submit

我有很多不同的作业,其中.properties文件的一部分是相同的。我希望能够将复制的部分移到一个baseconfig.properties文件中,并在提交作业时将其与作业特定部分相结合。

9gm1akwq

9gm1akwq1#

我可以将默认值放入config-default.xml文件,如下所述:http://oozie.apache.org/docs/3.3.2/workflowfunctionalspec.html#a4.1_workflow_job_properties_or_parameters
它在大多数情况下都有效。

yqhsw0fo

yqhsw0fo2#

如果重写属性的数目很小,则可以只引用基本配置文件,然后使用 -Dprop1=value 要自定义的每个属性的符号。
否则,我认为您有两个(可能有三个)备选方案(因为您不能将多个配置选项传递给当前的oozie客户机):
创建一个脚本,将基本属性文件和特定于作业的属性文件连接在一起,并使用合并文件的名称运行oozie
以ooziecli中的源代码为起点,编写一个扩展类来处理 -config 选项,或者可以处理多个 -config 参数示例
如果您能够将每个操作的公共属性移动到静态jobxml文件中,那么您只需要一个配置文件来处理作业运行之间的实际差异。

相关问题