我正在hadoop上运行一个简单的计数程序。我的输入文件大小为4 gb。由于某些原因,作业不断失败并出现以下错误:但是,如果我用一个小的输入文件(比如100mb)来尝试相同的代码,它就可以很好地工作。我是新手,似乎找不到任何可行的解决办法。我的设置是psuedo分发的。我需要更改配置吗?我已经为hadoop文档提供的psuedo分布式设置做了标准配置。任何帮助都将不胜感激。
piwo6bdm1#
从您发布的错误stacktrace中,connectiondensed异常是针对jobhistoryserver的。对于伪分布式设置,启动 JobHistoryServer . 用这个命令启动它,
JobHistoryServer
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
1条答案
按热度按时间piwo6bdm1#
从您发布的错误stacktrace中,connectiondensed异常是针对jobhistoryserver的。
对于伪分布式设置,启动
JobHistoryServer
. 用这个命令启动它,