我是hadoop的新手,想知道fair和capacity调度器之间的区别。我们应该什么时候使用每一个?请用一种简单的方式回答,因为我在网上读了很多东西,但我从中得不到什么。
2o7dmzc51#
下面是这两个调度器在功能方面的比较。
1cosmwyk2#
公平调度是一种将资源分配给作业的方法,使所有作业在一段时间内平均获得相等的资源份额。当有一个作业正在运行时,该作业将使用整个集群。提交其他作业时,将释放的任务槽分配给新作业,以便每个作业获得大致相同的cpu时间。与默认的hadoop调度器不同,hadoop调度器形成了一个作业队列,它允许短作业在合理的时间内完成,而不会耗尽长作业。在多个用户之间共享集群也是一种合理的方式。最后,公平共享还可以与作业优先级一起工作-优先级用作权重,以确定每个作业应获得的总计算时间的分数。capacityscheduler的设计允许共享一个大型集群,同时为每个组织提供最低容量保证。核心思想是hadoop map reduce集群中的可用资源在多个组织之间进行划分,这些组织根据计算需求共同为集群提供资金。还有一个额外的好处是,一个组织可以访问任何多余的容量,而不被其他人使用。这为各组织提供了成本效益高的弹性。
pbgvytdp3#
公平调度程序,分配资源池(按权重),在每个池中公平共享容量调度器,将资源分配给池,并在每个池内进行fifo调度容量调度器的设计允许共享一个大型集群,同时为每个组织提供容量保证。有可能过剩的产能不被其他人利用。
3条答案
按热度按时间2o7dmzc51#
下面是这两个调度器在功能方面的比较。
1cosmwyk2#
公平调度是一种将资源分配给作业的方法,使所有作业在一段时间内平均获得相等的资源份额。当有一个作业正在运行时,该作业将使用整个集群。提交其他作业时,将释放的任务槽分配给新作业,以便每个作业获得大致相同的cpu时间。与默认的hadoop调度器不同,hadoop调度器形成了一个作业队列,它允许短作业在合理的时间内完成,而不会耗尽长作业。在多个用户之间共享集群也是一种合理的方式。最后,公平共享还可以与作业优先级一起工作-优先级用作权重,以确定每个作业应获得的总计算时间的分数。
capacityscheduler的设计允许共享一个大型集群,同时为每个组织提供最低容量保证。核心思想是hadoop map reduce集群中的可用资源在多个组织之间进行划分,这些组织根据计算需求共同为集群提供资金。还有一个额外的好处是,一个组织可以访问任何多余的容量,而不被其他人使用。这为各组织提供了成本效益高的弹性。
pbgvytdp3#
公平调度程序,分配资源池(按权重),在每个池中公平共享
容量调度器,将资源分配给池,并在每个池内进行fifo调度
容量调度器的设计允许共享一个大型集群,同时为每个组织提供容量保证。有可能过剩的产能不被其他人利用。