我想检查我的Map任务位置或远程,所以作业完成后,我转到资源管理器端口8088查看详细信息。但是当我选择每个Map任务时,我只看到Map任务运行的位置,而找不到该Map任务所使用的输入拆分的位置。那么,有人能指出如何找到这些信息来检查hadoop2.6中map任务的局部性吗
u5rb5r591#
您可以在计数器中查看,您有3个计数器:数据本地Map任务(数据在本地节点上)机架本地Map任务(数据在同一机架上)其他本地Map任务(数据必须从其他机架传送)例子:
1条答案
按热度按时间u5rb5r591#
您可以在计数器中查看,您有3个计数器:
数据本地Map任务(数据在本地节点上)
机架本地Map任务(数据在同一机架上)
其他本地Map任务(数据必须从其他机架传送)
例子: