yarn作业崩溃，退出代码为143，即使节点有可用内存

zvms9eto 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(609)

我的Map任务超时，退出代码143，我认为这是内存问题。据我所知，根据我的设置，每个容器将接收3gb的内存，其中2.5gb将分配给java堆。当我在yarn的web用户界面上检查内存可用性时，我发现memused永远不会通过memavail，但是我的作业在600秒后超时。
这可能是因为我的工作使用了太多的java堆和崩溃吗？

<name>mapreduce.map.memory.mb</name>
    <value>3072</value>

    <name>mapreduce.map.java.opts</name>
    <value>-Xmx2560M</value>

hadoop mapreduce yarn memory-management

来源：https://stackoverflow.com/questions/30064690/yarn-job-crashes-with-exit-code-143-even-though-node-has-available-memory

1条答案

按热度按时间

63lcw9qa1#

你的Map程序正在执行一个需要600多秒的任务，节点管理器认为它死了，因此杀死了它。
请在执行任务之间确认任务处于活动状态。
如果您正在更新计数器，ack将自动完成。
将超时时间增加到600秒以上

赞(0）回复(0）举报 2021-06-03

我来回答

yarn作业崩溃，退出代码为143，即使节点有可用内存

1条答案

相关问题

热门标签

最新问答