允许多个hadoop/emr任务在关闭前失败

0ve6wy6x  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(358)

我尝试在amazon弹性mapreduce上使用hadoop,在那里我有数千个map任务要执行。如果有一小部分任务失败了,我没问题,但是,amazon关闭了作业,当第一个mapper失败时,我会丢失所有结果。是否有一个设置可用于增加允许的失败作业数?谢谢。

xnifntxz

xnifntxz1#

以下是hadoop的答案:
是否有任何属性可定义失败的Map器阈值
要在emr中使用上述设置,请查看:
http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html#predefinedbootstrapactions_configurehadoop
具体来说,创建一个xml文件(示例中为config.xml),其中包含要更改的设置并应用引导操作:
./elastic mapreduce--create--bootstrap action s3://elasticmapreduce/bootstrap actions/configure hadoop--args“-m,s3://myawsbucket/config.xml”

相关问题