从hadoop job tracker web界面访问emr任务日志

unftdfkk  于 2021-06-03  发布在  Hadoop
关注(0)|答案(3)|浏览(336)

我已经为我的主/从节点打开了ec2安全组,这样我就可以从本地浏览器访问job tracker界面。我使用 http://MASTER-IP:9100 .
在我尝试从任务详细信息访问任务跟踪器日志之前,一切正常- http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:9100/taskdetails.jsp?tipid=task_201212181113_0001_m_000000 我在那里得到的链接是到内部ec2ip地址的,因此我不能从我的本地机器访问它们(链接是 http://10.116..xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true )
有没有办法更改emr,使这些链接包含任务跟踪器的公共ip?
谢谢!

hsgswve4

hsgswve41#

尝试ssh隧道。使用firefox插件foxyproxy。您应该能够从本地浏览器看到job tracker界面并浏览日志

eivgtgni

eivgtgni2#

你很容易就能做到的是 ssh 到主节点,然后从那里驾驶到 curl 到此日志位置。通常,我们总是通过隧道连接到主节点,并通过 http://localhost:9100 要进行隧道挖掘,可以执行以下操作:

ssh -i your-pem-file.pem -L 9100:ec2-xx-xx-xx-xx.computamazonaws.com:9100 hadoop@ec2-xx-xx-xx-xx.compute-1.amazonaws.com

然后通过简单的 curl ,类似于:

$ curl http://10.116.xxx.xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true

您还可以登录到aws控制台,在那里查找正在运行的ec2示例的列表。从那里你可以得到你想要的机器日志的私有ip和相应的公共ip,然后你可以在日志的url中用这个检索到的公共ip替换私有ip,你就可以走了。
但第一个解决方案非常简单,是我们通常所做的。

hwamh0ep

hwamh0ep3#

将所有从属服务器的公共IP及其主机名添加到/etc/hosts文件中。

相关问题