我有一个全新的aws emr集群示例(一个名称节点,三个数据节点,4个vcore,16 gib内存,每个64 gib存储)。我正在尝试使用标准测试来测试它,比如testdfsio和teragen。我使用以下命令从主节点运行testdfsio:
sudo-u hadoop jarn jar/usr/lib/hadoop mapreduce/hadoop-mapreduce-client-jobclient-2.8.5-amzn-6-tests.jar testdfsio-write-nrfiles 5-filesize 100mb
作业提交,但随后会被其接受的状态卡住,并永远留在那里。我查了一下这个情况——似乎这项工作缺乏资源时通常会出现这种情况。然而,根据resourcemanager的判断,它拥有很多东西:
到目前为止,没有一个作业以正确的方式结束,所有“完成”的作业都是通过cli终止的。
我麻烦的原因是什么?
暂无答案!
目前还没有任何答案,快来回答吧!