有没有人能告诉我，并向我解释一下这些设置之间的区别？hive.tez.container.size和tez.task.resource.memory.mb谢谢。
pu3pd22g1#
hive.tez.container.size配置单元此属性指定tez容器大小。通常，此属性的值应与yarn container size yarn.scheduler.minimum-allocation-mb的值相同或是其小倍数（1或2倍），并且不应超过yarn.scheduler.maximum-allocation-mb的值。一般来说，不要将值设置为高于每个处理器的内存，因为您希望每个容器有一个处理器，并且希望旋转多个容器。你可以在hortonworks社区答案上找到非常详细的答案和一个很棒的架构图tez.task.resource.memory.mbtez容器中已启动任务使用的内存量。通常这个值是在dag中设置的，但是如果不是这样，那么默认情况下它将被设置为1024mb。dag中的所有任务都将具有相同的大小，这有助于容器重用，也有助于提高性能。
1条答案
按热度按时间pu3pd22g1#
hive.tez.container.size配置单元
此属性指定tez容器大小。通常，此属性的值应与yarn container size yarn.scheduler.minimum-allocation-mb的值相同或是其小倍数（1或2倍），并且不应超过yarn.scheduler.maximum-allocation-mb的值。
一般来说，不要将值设置为高于每个处理器的内存，因为您希望每个容器有一个处理器，并且希望旋转多个容器。
你可以在hortonworks社区答案上找到非常详细的答案和一个很棒的架构图
tez.task.resource.memory.mb
tez容器中已启动任务使用的内存量。通常这个值是在dag中设置的，但是如果不是这样，那么默认情况下它将被设置为1024mb。
dag中的所有任务都将具有相同的大小，这有助于容器重用，也有助于提高性能。