我已经为我的主/从节点打开了ec2安全组,这样我就可以从本地浏览器访问job tracker界面。我使用 http://MASTER-IP:9100
.
在我尝试从任务详细信息访问任务跟踪器日志之前,一切正常- http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:9100/taskdetails.jsp?tipid=task_201212181113_0001_m_000000
我在那里得到的链接是到内部ec2ip地址的,因此我不能从我的本地机器访问它们(链接是 http://10.116..xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true
)
有没有办法更改emr,使这些链接包含任务跟踪器的公共ip?
谢谢!
3条答案
按热度按时间hsgswve41#
尝试ssh隧道。使用firefox插件foxyproxy。您应该能够从本地浏览器看到job tracker界面并浏览日志
eivgtgni2#
你很容易就能做到的是
ssh
到主节点,然后从那里驾驶到curl
到此日志位置。通常,我们总是通过隧道连接到主节点,并通过http://localhost:9100
要进行隧道挖掘,可以执行以下操作:然后通过简单的
curl
,类似于:您还可以登录到aws控制台,在那里查找正在运行的ec2示例的列表。从那里你可以得到你想要的机器日志的私有ip和相应的公共ip,然后你可以在日志的url中用这个检索到的公共ip替换私有ip,你就可以走了。
但第一个解决方案非常简单,是我们通常所做的。
hwamh0ep3#
将所有从属服务器的公共IP及其主机名添加到/etc/hosts文件中。