mapreduce作业失败后,被yarn接受

nzkunb0c  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(377)

即使是一个简单的wordcount mapreduce也会出现同样的错误。
hadoop 2.6.0版
下面是Yarn原木。
在资源协商期间似乎发生了某种超时。
但我无法验证相同的,究竟是什么原因导致超时。
2016-11-11 15:38:09313 info org.apache.hadoop.yarn.server.resourcemanager.amlauncher.amlauncher:启动appattempt时出错\u 1478856936677 \u 0004 \u000002。获取异常:java.io.ioexception:本地异常失败:java.io.ioexception:java.net.sockettimeoutexception:等待通道准备好读取时超时60000毫秒。ch:java.nio.channels.socketchannel[connected local=/10.0.37.145:49054 remote=platform demo/10.0.37.145:60487];主机详细信息:本地主机为:“平台演示/10.0.37.145”;目的主机为:“平台演示”:60487;在org.apache.hadoop.net.netutils.wrapexception(netutils。java:772)在org.apache.hadoop.ipc.client.call(client。java:1472)在org.apache.hadoop.ipc.client.call(client。java:1399)在org.apache.hadoop.ipc.protobufrpceengine$invoker.invoke(protobufrpceengine。java:232)在com.sun.proxy.$proxy79.startcontainers(未知源)上org.apache.hadoop.yarn.api.impl.pb.client.containermanagementprotocolpbclientimpl.startcontainers(containermanagementprotocolpbclientimpl。java:96)在org.apache.hadoop.yarn.server.resourcemanager.amlauncher.amlauncher.launch(amlauncher。java:119)在org.apache.hadoop.yarn.server.resourcemanager.amlauncher.amlauncher.run(amlauncher。java:254)在java.util.concurrent.threadpoolexecutor.runworker(threadpoolexecutor。java:1145)在java.util.concurrent.threadpoolexecutor$worker.run(threadpoolexecutor。java:615)在java.lang.thread.run(线程。java:745)原因:java.io.ioexception:java.net.sockettimeoutexception:60000毫秒超时等待通道准备好读取。ch:java.nio.channels.socketchannel[connected local=/10.0.37.145:49054 remote=platform demo/10.0.37.145:60487]位于org.apache.hadoop.ipc.client$connection$1.run(client。java:680)位于javax.security.auth.subject.doas(subject)的java.security.accesscontroller.doprivileged(本机方法)。java:415)在org.apache.hadoop.security.usergroupinformation.doas(用户组信息。java:1628)在org.apache.hadoop.ipc.client$connection.handlesaslconnectionfailure(client。java:643)在org.apache.hadoop.ipc.client$connection.setupiostreams(client。java:730)在org.apache.hadoop.ipc.client$connection.access$2800(client。java:368)在org.apache.hadoop.ipc.client.getconnection(客户端。java:1521)在org.apache.hadoop.ipc.client.call(client。java:1438) ... 9更多原因:java.net.sockettimeoutexception:等待通道准备好读取时超时60000毫秒。ch:java.nio.channels.socketchannel[connected local=/10.0.37.145:49054 remote=platform demo/10.0.37.145:60487]位于org.apache.hadoop.net.socketiowithtimeout.doio(socketiowithtimeout)。java:164)在org.apache.hadoop.net.socketinputstream.read(socketinputstream。java:161)在org.apache.hadoop.net.socketinputstream.read(socketinputstream。java:131)在java.io.filternputstream.read(filternputstream。java:133)在java.io.bufferedinputstream.fill(bufferedinputstream。java:235)在java.io.bufferedinputstream.read(bufferedinputstream。java:254)在java.io.datainputstream.readint(datainputstream。java:387)在org.apache.hadoop.security.saslrpclient.saslconnect(saslrpclient。java:367)在org.apache.hadoop.ipc.client$connection.setupsaslconnection(客户端。java:553)在org.apache.hadoop.ipc.client$connection.access$1800(client。java:368)在org.apache.hadoop.ipc.client$connection$2.run(client。java:722)在org.apache.hadoop.ipc.client$connection$2.run(client。java:718)位于java.security.accesscontroller.doprivileged(本机方法)javax.security.auth.subject.doas(主题。java:415)在org.apache.hadoop.security.usergroupinformation.doas(usergroupinformation。java:1628)在org.apache.hadoop.ipc.client$connection.setupiostreams(client。java:717) ... 12个以上
2016-11-11 15:38:09319 info org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.rmappattemptimpl:更新应用程序attempt appattempt\u 1478856936677\u 0004\u000002,最终状态:失败,退出状态:-1000 2016-11-11 15:38:09,319 info org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.rmappattemptimpl:appattempt\u 1478856936677\u 0004\u000002状态从已分配更改为最终保存\u
我试图改变以下属性
yarn.nodemanager.resource.memory-mb内存
2200可分配给容器的物理内存量(mb)。
yarn.scheduler.minimum-allocation-mb最小分配
500
dfs.datanode.socket.write.timeout超时
3000000
dfs.socket.timeout 300万

cetgtptt

cetgtptt1#

q1.mapreduce作业失败,被yarn接受后
原因是,端口60487上有130个左右的多个连接卡住。
q2.mapreduce作业失败,被yarn接受后
问题是由于hadoop-tmp/app/hadoop/tmp引起的。清空此目录并重新尝试mapr作业,作业已成功执行。
q3.不健康的节点本地目录错误:/tmp/hadoop hduser/nm local dir
使用以下属性编辑yarn-site.xml。

<property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>98.5</value>
</property>

为什么hadoop报告“不健康的节点本地目录和日志目录是坏的”?

相关问题