我设置了以下标志,以便触发我的mr jobs的推测执行。有一些不好的硬件导致作业运行很长时间(8-9小时,而不是常规的1.5-3小时),理想情况下,硬件问题不应该影响hadoop mr作业的运行时间,当我们有猜测的时候。Map器工作良好,并触发推测,但从来没有投机触发的还原(甚至那些运行8小时)。在这种情况下,任何帮助都是非常有价值的。
参数值的来源:http://docs.qubole.com/en/latest/user-guide/hadoop/hadoop1/speculation.html
mapred.speculative.reduce.lag=120000
mapreduce.reduce.speculative=true
mapreduce.job.speculative.stddevmeanratio.max=0.8
mapred.speculative.reduce.duration=300
mapred.reduce.tasks.speculation.unfinished.threshold=0.001
暂无答案!
目前还没有任何答案,快来回答吧!