选择Hive桶数

tf7tbtn2  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(319)

如何决定创建新表时应创建多少个存储桶??
我在下面找到答案,
bucket=(x*平均分区大小)/jvm内存可用到hadoop任务节点
但是这个解决方案只有在有分区表的情况下才有效。我的表没有任何分区,它应该只包含没有分区的桶?
你好,普拉布

7cwmlq89

7cwmlq891#

只需使用表大小而不是平均分区大小。这个公式基于insert作业中的数据量:对于分区表,每个分区有一个,而对于非分区表,只有一个。

相关问题