众所周知，hadoop计数器的数量是120。我想增加这个数字，我试着添加流动的配置：
mapreduce.job.counters.limit=1000
mapreduce.job.counters.max=1000
mapreduce.job.counters.groups.max=500
mapreduce.job.counters.group.name.max=1000
mapreduce.job.counters.counter.name.max=500但是，这毫无意义。你们知道怎么增加柜台号码吗。提前谢谢！
2条答案
按热度按时间rkkpypqq1#
您需要更新所有jobtracker、TaskTracker和客户端中的配置，然后重新启动它们。例如，
mapreduce.job.counters.limit仅在启动时加载到limits.counters\u max。k10s72fa2#
尽管你的问题的实际部分已经得到了回答，但我还是想提醒你几件事：
1-计数器非常昂贵，因为jobtracker必须在整个应用程序期间维护每个map/reduce任务的每个计数器。所以明智地使用它们。
2-由于计数器存储在jobtracker中，因此jobtracker很有可能使用如此高的计数器值。这就是hadoop限制每个作业可以创建的计数器数量的原因。