我已经开始使用hadoop yarn（ami 3.3.1）在amazon emr上运行pig作业，但是由于yarn中不再有作业跟踪器，因此当我尝试访问资源管理器ui页面中提供的应用程序主链接时，我似乎无法找到web ui以便跟踪mapreduce作业的Map器和还原器的数量，我被告知该页不存在（图片如下）。有没有人知道我如何通过我的网络浏览器访问一个ui，这个ui会显示当前的工作状态，包括Map器的数量、缩减器以及每个Map器的完成百分比等？谢谢
to94eoyn1#
单击resourcemanager网页中的applicationmaster链接后，您将被重定向到applicationmaster web ui；因为emr使用ec2示例，每个ec2示例有2个与其相关联的ip地址，一个用于私有通信，另一个用于公共通信。emr使用私有ip地址（私有dns）来设置hadoop，因此，您将被重定向到如下url：
http://10.204.137.136:9046/proxy/application_1423027388806_0003/
您可以看到它指向示例的私有ip地址，因此浏览器无法解析该ip地址，您只需将私有ip地址替换为该示例的公共ip地址（或公共dns名称）：
使用ec2 web界面您可以登录到awsec2控制台并找到示例的ip地址使用控制台：如果您登录到该示例并想知道它的公共ip地址，那么发出以下命令，该命令将返回该示例的公共ip地址。
curl http://169.254.169.254/latest/meta-data/public-ipv4
还可以看看这个aws文档页面，了解如何查看web界面，它提供了其他选项，如设置ssh隧道和使用socks代理。
1条答案
按热度按时间to94eoyn1#
单击resourcemanager网页中的applicationmaster链接后，您将被重定向到applicationmaster web ui；因为emr使用ec2示例，每个ec2示例有2个与其相关联的ip地址，一个用于私有通信，另一个用于公共通信。emr使用私有ip地址（私有dns）来设置hadoop，因此，您将被重定向到如下url：
您可以看到它指向示例的私有ip地址，因此浏览器无法解析该ip地址，您只需将私有ip地址替换为该示例的公共ip地址（或公共dns名称）：
获取示例的公共ip地址
使用ec2 web界面
您可以登录到awsec2控制台并找到示例的ip地址
使用控制台：
如果您登录到该示例并想知道它的公共ip地址，那么发出以下命令，该命令将返回该示例的公共ip地址。
还可以看看这个aws文档页面，了解如何查看web界面，它提供了其他选项，如设置ssh隧道和使用socks代理。