我知道hadoop有fair调度器,我们可以将一个作业分配给某个优先级组,集群资源根据优先级分配给该作业。我不确定的是,我要问的是,hadoop集群如何对非map-red程序进行优先级排序。具体来说,当集群忙于运行map-red作业时,hadoop将如何优先考虑通过外部客户机(比如一些直接打开hdfs文件并向其传输数据的独立程序)写入hadoop。
mqkwyuun1#
资源管理器只能对提交给它的作业(如mapreduce应用程序、spark作业等)进行优先级排序。除了distcp之外,hdfs操作只与namenode和datanodes交互,而不是与资源管理器交互,因此namenode将按照接收它们的顺序来处理它们。
1条答案
按热度按时间mqkwyuun1#
资源管理器只能对提交给它的作业(如mapreduce应用程序、spark作业等)进行优先级排序。
除了distcp之外,hdfs操作只与namenode和datanodes交互,而不是与资源管理器交互,因此namenode将按照接收它们的顺序来处理它们。