有没有一种简单的方法让Map器和还原器在特定的时间内运行？

jobtbby3 于 2021-06-02 发布在 Hadoop

关注(0)|答案(2)|浏览(264)

出于某些测试目的，我想要一个map reduce作业，它最多运行1小时50分钟。实际处理是完全不相关的。
我想知道是否有任何API可以帮助我实现这一点。我会理想地想产生一些假数据，直到时间限制被超越。
p、答：这个问题只是出于学术兴趣。我完全知道map reduce可能不是为这类用例设计的。

2条答案

可以使用配置对象设置作业的最大时间限制

conf.set("mapreduce.task.timeout",3600000); // change the time limit to 1h

在指定的时间结束后，作业将被终止。

我想知道有没有可能 Hadoop 不管怎样。
但通常在linux中 crontab 用于计划任务。
只需在crontab中设置两个预定命令。
启动hadoop作业
50分钟后停止特定的hadoop作业。