为什么oozie向yarn提交shell操作?

ny6fqffe  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(349)

我最近在学oozie。我对炮弹的作用有点好奇。我正在执行shell操作,其中包含如下shell命令

hadoop jar <jarPath> <FQCN>

运行此操作时,有两个Yarn作业正在运行
一个用于hadoop作业
一个用于外壳动作
我不明白为什么空壳行动需要Yarn来执行。我也试过邮件操作。它在没有Yarn资源的情况下执行。

sg24os4d

sg24os4d1#

要回答这个问题,区别在于
独立运行shell脚本(.sh文件或cli)
作为oozie工作流的一部分运行shell操作。(oozie shell操作中的shell脚本)
第一种情况非常明显。
在第二种情况下,oozie通过yarn(资源协商者)启动shell脚本,在安装oozie的集群上运行shell脚本,并在内部运行mr jobs来启动shell操作。因此shell脚本在内部作为一个应用程序运行。oozie工作流的日志显示了shell操作在oozie中启动的方式。

相关问题