在hadoop中将多个配置单元表合并为单个表

gdx19jrr  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(551)

嗨,我有多个Hive桌,大约15-20桌。所有表都将是公共模式。我需要将所有的表合并为一个表。单个表应该从报表工具中查询,因此性能也是需要注意的。。
我试过这样。。

create table new as
select * from table_a
union all
select * from table_b

有没有其他方法能更有效地组合所有的表格。任何帮助都将不胜感激。

piok6c0g

piok6c0g1#

如果将“hive.exec.parallel”设置为true,则配置单元将并行处理。使用“hive.exec.parallel.thread.number”可以指定并行线程的数量。这将提高整体效率。

eit6fx6z

eit6fx6z2#

如果要将表a和表b合并为一个表,最简单的方法是使用union all运算符。你可以在这里找到语法和用例-https://cwiki.apache.org/confluence/display/hive/languagemanual+union

相关问题