我有2tb的手机记录，180万用户的330亿次阅读。我在用户id上创建了一个分区。impala创建了许多子目录，称为 userid=XXXXX . 这看起来像是对180万个子目录的过度分区。有没有办法让分区有一个数字的范围或数组？
userid=XXXXX
bwntbbo31#
目前，impala没有任何类型的范围分区。因此，需要在表中的不同列上进行分区，这样可以创建更少的分区。或者，作为一种解决方法，您可以向表中添加一个额外的列，该列存储每个记录所需的指定范围，然后对“range”列进行分区。示例：您有一个字段user\u id=1234的记录，该字段的范围user\u range=0\u 100000，可以用于分区。
1条答案
按热度按时间bwntbbo31#
目前，impala没有任何类型的范围分区。因此，需要在表中的不同列上进行分区，这样可以创建更少的分区。或者，作为一种解决方法，您可以向表中添加一个额外的列，该列存储每个记录所需的指定范围，然后对“range”列进行分区。示例：您有一个字段user\u id=1234的记录，该字段的范围user\u range=0\u 100000，可以用于分区。