如何配置hadoop rpc的超时?

cdmah0mi  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(449)

我的应用程序使用hadoop的rpc在分布式环境中远程发送/接收请求。

org.apache.hadoop.ipc.RPC;
org.apache.hadoop.ipc.RPC.Server;

....

this.server = RPC.getServer(this, this.peerAddr.getHostName(), this.peerAddr.getPort(), this.conf);
this.server.start();

随着任务越来越重,我观察到由于io异常(这可能是由线程中断引起的)导致的频繁任务失败。
我怀疑异常是由某种rpc超时引起的。
如何在hadoop中调整rpc的超时?例如,我期望的是。。。

<property>
<name>hadoop.rpc.timeout</name>
<value>3000</value>
<description>The timeout for RPC call in ms</description>
</property>
fzsnzjdm

fzsnzjdm1#

hadoop 0.20不支持此问题,请阅读此问题https://issues.apache.org/jira/browse/hadoop-6889

相关问题