用hcatalog获取hawq/pxf上的Hive数据

von4xj4u  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(386)

我已经用ambari服务配置了hortonworkshdp,稍后我添加了hawq和pxf。通过一些研究,我发现可以通过hcatalog查询存储在hive中的数据,而且由于我已经将数据集加载到hive中,这会使工作变得简单,但是我正在做一些基准测试,有人能告诉我hcatalog的使用是否会影响hawq的性能吗?

wj8zmpe1

wj8zmpe11#

当hawq使用hcatalog集成访问pxf表时,它会确定底层表(甚至分区)的格式,并使用针对特定格式优化的profile,因此性能不会下降。

fafcakar

fafcakar2#

补充一下oleksandr的观点,当hawq查询hcatalog时,甚至配置单元目录数据也只存储在内存中,而不是存储在hawq中的磁盘上,与本机hawq表没有任何争用。也就是说,外部hcatalog查询的性能不如本地hawq查询。

相关问题