oozie工作流、协调器和捆绑包之间的区别是什么

wtlkbnrh  于 2021-05-29  发布在  Hadoop
关注(0)|答案(3)|浏览(302)

oozie工作流、协调器和捆绑包之间的区别是什么?
oozie工作流定义了一系列操作。我们需要在每次运行时手动调用它。在这里,可以通过协调器安排相同的工作流。这种理解正确吗?
那包里还有什么?
我猜它又被用来安排一组协调人。那么为什么不能像一个工作流可以有另一个子工作流那样使用一个协调器来调度其他协调器呢。

rkttyhzu

rkttyhzu1#

工作流没有运行任何hadoop作业的时间规范。coordinator job使用frequency标记在coordinator.xml中具有关于job的时间规范。集体协调工作被认为是一个捆绑工作。在bundle job中,单个用户可以使用各自的job.properties为各自的作业分配自己的作业。

xxls0lw8

xxls0lw82#

工作流程:
这是一系列的行动。它是用xml编写的,动作可以是map reduce、hive、pig等。
协调员:
它是一个程序,在满足一组条件时触发操作(通常是工作流作业)。条件可以是时间频率、其他外部事件等。
捆绑包:
它被定义为一个更高级别的oozie抽象,对一组协调器作业进行批处理。我们还可以指定包作业开始的时间。

ars1skjm

ars1skjm3#

据我所知,使用bundle可以将几个协调器分组,因此更好地管理、查看、启动/停止。。。
我们可能有两个数据管道,一个用于日志处理(collect/parse/etl),一个用于业务逻辑。
然后我创建两个包来分组不同类型的协调器。

相关问题