我尝试在amazon弹性mapreduce上使用hadoop,在那里我有数千个map任务要执行。如果有一小部分任务失败了,我没问题,但是,amazon关闭了作业,当第一个mapper失败时,我会丢失所有结果。是否有一个设置可用于增加允许的失败作业数?谢谢。
xnifntxz1#
以下是hadoop的答案:是否有任何属性可定义失败的Map器阈值要在emr中使用上述设置,请查看:http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html#predefinedbootstrapactions_configurehadoop具体来说,创建一个xml文件(示例中为config.xml),其中包含要更改的设置并应用引导操作:./elastic mapreduce--create--bootstrap action s3://elasticmapreduce/bootstrap actions/configure hadoop--args“-m,s3://myawsbucket/config.xml”
1条答案
按热度按时间xnifntxz1#
以下是hadoop的答案:
是否有任何属性可定义失败的Map器阈值
要在emr中使用上述设置,请查看:
http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html#predefinedbootstrapactions_configurehadoop
具体来说,创建一个xml文件(示例中为config.xml),其中包含要更改的设置并应用引导操作:
./elastic mapreduce--create--bootstrap action s3://elasticmapreduce/bootstrap actions/configure hadoop--args“-m,s3://myawsbucket/config.xml”