hadoop map reduce作业失败

s4n0splo  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(228)

我目前使用的hadoop5节点集群有5个从节点,每个datanode的容量为8.7tb。我正在执行一个map reduce作业来执行312 gb的数据,但是在执行程序后出现了一个应用程序失败的错误。我不能理解的错误,首先Map减少工作开始,它得到了11%,然后它从1%重新开始。
1) 我是否正在执行无法在集群配置中执行的更大数据集?
2) 我是否需要为在数据集上运行作业配置map reduce驱动程序,可能的配置是什么?详情请参阅截图。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题