hadoop(2.6)在resourcemanager web ui中输入拆分位置

mkh04yzy  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(513)

我想检查我的Map任务位置或远程,所以作业完成后,我转到资源管理器端口8088查看详细信息。
但是当我选择每个Map任务时,我只看到Map任务运行的位置,而找不到该Map任务所使用的输入拆分的位置。
那么,有人能指出如何找到这些信息来检查hadoop2.6中map任务的局部性吗

u5rb5r59

u5rb5r591#

您可以在计数器中查看,您有3个计数器:
数据本地Map任务(数据在本地节点上)
机架本地Map任务(数据在同一机架上)
其他本地Map任务(数据必须从其他机架传送)
例子:

相关问题