mapreduce作业失败,线程“main”java.io.ioexception中出现异常:java.net.connectexception

dbf7pr2w  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(389)

我正在hadoop上运行一个简单的计数程序。我的输入文件大小为4 gb。由于某些原因,作业不断失败并出现以下错误:


但是,如果我用一个小的输入文件(比如100mb)来尝试相同的代码,它就可以很好地工作。我是新手,似乎找不到任何可行的解决办法。我的设置是psuedo分发的。
我需要更改配置吗?我已经为hadoop文档提供的psuedo分布式设置做了标准配置。
任何帮助都将不胜感激。

piwo6bdm

piwo6bdm1#

从您发布的错误stacktrace中,connectiondensed异常是针对jobhistoryserver的。
对于伪分布式设置,启动 JobHistoryServer . 用这个命令启动它,

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

相关问题