org.apache.hadoop.mapreduce.counters.limitexceededexception:计数器太多：121 max=120

lrl1mhuk 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(552)

我正在运行一个hadoop作业（来自oozie），它有几个计数器和多输出。
我得到的错误如下：org.apache.hadoop.mapreduce.counters.limitexceededexception:太多计数器：121 max=120
然后我删除了所有包含计数器的代码，并将mout.setcountersenabled设置为false。并在hadoop配置中将max counters设置为240。
现在我仍然得到相同的错误org.apache.hadoop.mapreduce.counters.limitexceededexception:too many counters:241 max=240
我怎样才能解决这个问题？是否存在隐藏计数器的可能性？我怎样才能弄清楚哪里的柜台超过240(这个过程看起来好像在我打印任何东西之前就停止了？）
谢谢，新松

Java hadoop mapreduce oozie apache

来源：https://stackoverflow.com/questions/20899050/org-apache-hadoop-mapreduce-counters-limitexceededexception-too-many-counters

2条答案

按热度按时间

tzdcorbm1#

我知道原因了。这是因为multioutput，默认情况下每个multioutput都有一个计数器。有更多的多重输出后，我的变化，所以它得到超过错误。

赞(0）回复(0）举报 2021-06-03

niknxzdl2#

我使用以下方法解决了这个问题：vi$hadoop\u home/conf/mapred-site.xml

<property>
    <name>mapreduce.job.counters.limit</name>
    <!--<value>120</value>-->
   <value>20000</value>
    <description>Limit on the number of counters allowed per job. The default value is 200.</description>
</property>

赞(0）回复(0）举报 2021-06-03

我来回答

org.apache.hadoop.mapreduce.counters.limitexceededexception:计数器太多：121 max=120

2条答案

相关问题

热门标签

最新问答