yarn—一种在x次成功运行后停止Map文件的方法

plicqrtu  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(200)

有点新的Yarn和hadoop一般。我有一个Yarn的工作,扫描我的cloudera cdh集群的文件寻找特定的模式。如果x个Map程序成功,我想让作业能够停止所有文件分割上的Map程序-如果我找到了该模式存在的证据,我想停止Map。
起初我认为我应该使用动态用户定义的计数器来实现,但是我要寻找的模式的数量在将来可能会增加,计数器将开始成为一个问题。另外,如果我想同时运行多个作业,我需要在不同的作业之间传递计数器。
我在网上找不到这样的东西。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题