如何使用工具箱分析hadoop任务

iyr7buue  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(354)

关闭。这个问题需要更加突出重点。它目前不接受答案。
**想改进这个问题吗?**通过编辑这篇文章更新这个问题,使它只关注一个问题。

6年前关门了。
改进这个问题
我正在尝试分析hadoop作业的内存使用情况。
有没有人能提供一个关于如何用你的工具包监控hadoop任务的分步操作——包括安装程序?

nle07wnf

nle07wnf1#

您只需将以下条目添加到mapred-site.xml文件中(如果在$hadoop\u home/conf/中找到该文件,$hadoop\u home是您的hadoop安装目录):

<property>
  <name>mapred.child.java.opts</name>
  <value>
 -agentpath:{yourkit installation directory}/bin/linux-x86-64/libyjpagent.so=tracing,dir={output directory}
 </value>
</property>

如果您在不同于linux-x86-64的平台上运行,则可能需要更改上述值以匹配您的平台(有关详细信息,请参阅此)
您可以将此处列出的任何选项传递给探查器代理
这将创建多个快照,为指定输出目录中的每个子进程创建一个快照

相关问题