我正在尝试使用jmx导出hadoop集群的度量。它与hdfs和resourcemanager一起工作。将其添加到 HADOOP_OPTS , HADOOP_NAMENODE_OPTS , HADOOP_DATANODE_OPTS 以及 YARN_RESOURCEMANAGER_OPTS .如何导出作业的mapreduce度量？我想导出作业操作，如Map和Map。作为在下一个图像中显示作业ui的指标：
HADOOP_OPTS
HADOOP_NAMENODE_OPTS
HADOOP_DATANODE_OPTS
YARN_RESOURCEMANAGER_OPTS
1mrurvl11#
正如注解中所暗示的，您必须在程序驱动程序（运行程序）上设置此配置，以便它将其传播到Map器/还原器：
configuration.set("mapreduce.map.java.opts", "-Xmx1600m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8008");
同样，对于reducer，可以将变量设置为 mapreduce.reduce.java.opts .看看是否有效。只需登录到运行作业的数据节点之一；然后跑 ps aux | grep 8008 查看是否在Map程序或还原程序进程上正确设置了jmx端口。警告：同一台机器不能两次输出同一个端口。你必须确保这不会发生。
mapreduce.reduce.java.opts
ps aux | grep 8008
1条答案
按热度按时间1mrurvl11#
正如注解中所暗示的，您必须在程序驱动程序（运行程序）上设置此配置，以便它将其传播到Map器/还原器：
同样，对于reducer，可以将变量设置为
mapreduce.reduce.java.opts.看看是否有效。只需登录到运行作业的数据节点之一；然后跑
ps aux | grep 8008查看是否在Map程序或还原程序进程上正确设置了jmx端口。警告：同一台机器不能两次输出同一个端口。你必须确保这不会发生。