hadoop作业未在大数据集中运行引发子错误

qxsslcnc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(235)

我正在hadoop上运行的应用程序上运行map reduce作业。对于较小的数据集,它运行正常,但是增加数据大小会导致它失败,并出现如下消息。
我尝试了不同的内存配置 mapred.child.*.java.opts 但没有成功。进程运行到6%或7%,然后失败。如果数据大小减小,它将运行一个更高的百分比值,然后失败。我可以看到,这个特定的进程只分配给一个Map器。
java.lang.throwable:org.apache.hadoop.mapred.taskrunner.run(taskrunner)中的子错误。java:250)原因:java.io.ioexception:任务进程退出,非零状态为137。在org.apache.hadoop.mapred.taskrunner.run(taskrunner。java:237)

mi7gmzs6

mi7gmzs61#

可能的原因:分配给任务跟踪器的内存(mapred.*.child.java.opt in mapred site.xml的总和)大于节点的实际内存

相关问题