hadoop中还原程序的推测执行未触发

zf9nrax1  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(196)

我设置了以下标志,以便触发我的mr jobs的推测执行。有一些不好的硬件导致作业运行很长时间(8-9小时,而不是常规的1.5-3小时),理想情况下,硬件问题不应该影响hadoop mr作业的运行时间,当我们有猜测的时候。Map器工作良好,并触发推测,但从来没有投机触发的还原(甚至那些运行8小时)。在这种情况下,任何帮助都是非常有价值的。
参数值的来源:http://docs.qubole.com/en/latest/user-guide/hadoop/hadoop1/speculation.html

mapred.speculative.reduce.lag=120000
 mapreduce.reduce.speculative=true
 mapreduce.job.speculative.stddevmeanratio.max=0.8
 mapred.speculative.reduce.duration=300 
 mapred.reduce.tasks.speculation.unfinished.threshold=0.001

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题