如何从“yarn application-list”访问跟踪url?

nhn9ugyo  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(403)

我想看到在yarn中看到的某个作业的yarn web ui。
当我这么做的时候 yarn application -list 我可以看到跟踪网址 <tracking-URL> .
所以,我在chrome中导航到那个页面,它会给我一个类似这样的错误:

The 172.12.15.181 page isn't working.
172.12.15.181 didn't send any data.

很明显,我已经进入了机器,应该可以让我看到它。而且,这项工作肯定很重要 status=RUNNING 在Yarn中。那么,是什么阻止我在这个url上看到yarn的web用户界面呢?
我做得对吗?谢谢您。

fwzugrvs

fwzugrvs1#

步骤1:打开到您的计算机的ssh隧道:

ssh -i ~/.ssh/<KEY_FILE>.pem -L 4040:localhost:4040 -N <USER>@<SERVER_PUBLIC_IP>

第二步:参观 localhost:4040 在浏览器中。

l3zydbqr

l3zydbqr2#

跟踪yarn应用程序中显示的url——列表是正确的,问题是您无法正确访问它。
确保您的计算机可以访问运行spark驱动程序代码的节点,检查网络防火墙。
确保防火墙允许url使用的端口。如果不使用动态端口转发。
在大多数情况下,出于安全原因,防火墙端会阻止未知端口,您需要执行动态转发以查看url。
我个人使用putty并创建动态端口转发隧道,然后使用“switchysharp”chrome扩展来查看spark ui。

相关问题