我们目前正在集群中运行大量的oozie作业。其中许多作业使用模板并具有子工作流。这些作业并不总是包含大而重的作业，它们大多包含一个小的shell脚本。hue作业浏览器显示了很多oozie步骤。我们现在有时会觉得我们的集群正被这些工作所超载。这让我想知道，是不是每一个oozie的工作都指定了一个Yarn容器？如果是这样的话，这意味着对于一个2分钟的工作，我们有效地使用了2-10倍于所需的资源。
ogq8wdun1#
在您的情况下，是的，如果您通过shell调用mr，则所有作业都将保持容器静止。不是每个容器都会提供不必要的内存或资源。Yarn提供确切的或略多的资源，但如果工作需要更多，它会增加。
jei2mxaa2#
你自己看看。。。在“色调”面板中，单击已执行的任何工作流，选择“操作”选项卡，查看“外部id”列=>every job_000000_0000 指Yarn作业…当“external id”指向子工作流时，如果单击，则会得到它自己的工作或者，您可以将命令行用于 oozie job -info <wkf/sub-wkf exec id> 例如，你可以在那篇文章中得到更多的细节。shell或java操作的一个常见问题是，“launcher”yarn作业使用由hadoop管理员定义的默认作业设置——例如，appmaster使用1gb的ram，“launcher”使用1.5gb的ram。但通常情况下，shell只需要几mb的ram（在oozie用于在原始Yarn容器中引导操作的ram之上），而它的appmaster只需要最低限度的ram来控制执行——比如说，每个512MB。因此，您可以通过设置一些未记录的属性来减少oozie操作的占用空间——实际上，标准hadoop道具的前缀是 oozie.launcher. 比如看这篇文章，然后看那篇文章。附言： oozie.launcher.mapreduce.map.java.opts 与java操作（或pig操作、sqoop操作等）相关，并且应该与全局ram配额保持一致；但它与shell操作无关[除非您设置了一个非常愚蠢的值，在这种情况下，它可能会影响oozie引导过程]
job_000000_0000
oozie job -info <wkf/sub-wkf exec id>
oozie.launcher.
oozie.launcher.mapreduce.map.java.opts
2条答案
按热度按时间ogq8wdun1#
在您的情况下，是的，如果您通过shell调用mr，则所有作业都将保持容器静止。不是每个容器都会提供不必要的内存或资源。
Yarn提供确切的或略多的资源，但如果工作需要更多，它会增加。
jei2mxaa2#
你自己看看。。。
在“色调”面板中，单击已执行的任何工作流，选择“操作”选项卡，查看“外部id”列=>every
job_000000_0000指Yarn作业…当“external id”指向子工作流时，如果单击，则会得到它自己的工作
或者，您可以将命令行用于
oozie job -info <wkf/sub-wkf exec id>例如，你可以在那篇文章中得到更多的细节。shell或java操作的一个常见问题是，“launcher”yarn作业使用由hadoop管理员定义的默认作业设置——例如，appmaster使用1gb的ram，“launcher”使用1.5gb的ram。
但通常情况下，shell只需要几mb的ram（在oozie用于在原始Yarn容器中引导操作的ram之上），而它的appmaster只需要最低限度的ram来控制执行——比如说，每个512MB。
因此，您可以通过设置一些未记录的属性来减少oozie操作的占用空间——实际上，标准hadoop道具的前缀是
oozie.launcher.比如看这篇文章，然后看那篇文章。附言：
oozie.launcher.mapreduce.map.java.opts与java操作（或pig操作、sqoop操作等）相关，并且应该与全局ram配额保持一致；但它与shell操作无关[除非您设置了一个非常愚蠢的值，在这种情况下，它可能会影响oozie引导过程]