我开始学习hadoop了。我有一个hadoop服务器，它连接3个集群节点。如果我运行一个mapreduce工作，它工作得很好。我需要为这些集群设置优先级。例如node1、node2、node3是与hadoop服务器连接的集群。在这里，如果我运行mr作业，它每次都会像上面的优先级那样拆分和分配作业。有可能吗？因为集群节点的内存容量不同。所以我需要设置高内存节点将首先处理作业。
yzuktlbb1#
不可能根据容量对某些服务器进行“加权”。但是，每台服务器都可以有一个配置来匹配它的内存、处理器计数等。例如，如果一台服务器有16个核心，而另一台服务器有8个核心，则可以将第一台服务器配置为同时运行12个任务，将第二台服务器配置为仅运行6个任务。记忆也是这样。
1条答案
按热度按时间yzuktlbb1#
不可能根据容量对某些服务器进行“加权”。但是，每台服务器都可以有一个配置来匹配它的内存、处理器计数等。
例如，如果一台服务器有16个核心，而另一台服务器有8个核心，则可以将第一台服务器配置为同时运行12个任务，将第二台服务器配置为仅运行6个任务。记忆也是这样。