配置单元元存储分区,它是如何工作的?

g0czyy6m  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(295)

我有几个问题,请帮助我理解
在配置单元中,我看到对于几个配置单元表,集群和元存储中的分区信息是不同的,原因是什么?
在配置单元中使用“hive>show partitions”和“select*from partitions where tbl_id=;”在metastore中。
对于一些配置单元表,我在集群中看到的分区信息数量较少,但在metastore中显示的分区更多。对于这种情况,当在配置单元表中使用where子句对分区运行查询时,会出现缺少某些分区的错误。
其中,因为有一些配置单元表,与集群相比,metastore的分区信息较少,在这种情况下,在where子句中使用partition运行查询时,查询不会给出错误。

vptzau2j

vptzau2j1#

我想你用的是cloudera/impala。文档中说:如果您认为某个对象存在,但在显示输出中看不到它,请与系统管理员联系是否需要为该对象授予新的权限。如果一个表被分区,那么它可以跨越多个不同的hdfs目录。由于分区可以基于其位置属性驻留在任意hdfs目录中,因此目录可能会非常分散。
请参见此处:显示分区

相关问题