我目前使用的hadoop5节点集群有5个从节点,每个datanode的容量为8.7tb。我正在执行一个map reduce作业来执行312 gb的数据,但是在执行程序后出现了一个应用程序失败的错误。我不能理解的错误,首先Map减少工作开始,它得到了11%,然后它从1%重新开始。1) 我是否正在执行无法在集群配置中执行的更大数据集?2) 我是否需要为在数据集上运行作业配置map reduce驱动程序,可能的配置是什么?详情请参阅截图。
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!