在hadoop上，如果我有更多的容器来运行map task或reduce task，处理作业会更快吗？因此，如果在使容器分配内存小于默认值时是这样的话，我可以在主机上运行更多的容器，并使作业更快。那么vcore呢，我的意思是如果我们有更多的容器要运行，但是它会根据vcore的分配一个一个地运行吗？也就是说，不管容器多还是少，它还是一个接一个地运行。
jfgube3f1#
不，任务可以并行运行。假设您的Yarn集群有24核和96 gb内存。的默认值 mapreduce.map.cpu.vcores 以及 mapreduce.reduce.cpu.vcores 是1因此，您可以启动24个容器，每个容器有4个gm内存，它们可以并行运行。如果您的作业需要超过24个容器，那么最初将启动前24个任务，并且在所需资源（容器）可用时将立即启动后续任务。
mapreduce.map.cpu.vcores
mapreduce.reduce.cpu.vcores
1条答案
按热度按时间jfgube3f1#
不，任务可以并行运行。
假设您的Yarn集群有24核和96 gb内存。的默认值
mapreduce.map.cpu.vcores以及mapreduce.reduce.cpu.vcores是1因此，您可以启动24个容器，每个容器有4个gm内存，它们可以并行运行。如果您的作业需要超过24个容器，那么最初将启动前24个任务，并且在所需资源（容器）可用时将立即启动后续任务。