在hadoop集群忙于运行map reducer作业时写入它

cyvaqqii  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(298)

我知道hadoop有fair调度器,我们可以将一个作业分配给某个优先级组,集群资源根据优先级分配给该作业。我不确定的是,我要问的是,hadoop集群如何对非map-red程序进行优先级排序。具体来说,当集群忙于运行map-red作业时,hadoop将如何优先考虑通过外部客户机(比如一些直接打开hdfs文件并向其传输数据的独立程序)写入hadoop。

mqkwyuun

mqkwyuun1#

资源管理器只能对提交给它的作业(如mapreduce应用程序、spark作业等)进行优先级排序。
除了distcp之外,hdfs操作只与namenode和datanodes交互,而不是与资源管理器交互,因此namenode将按照接收它们的顺序来处理它们。

相关问题