从两个Parquet文件配置单元中的外部表

gxwragnw  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(311)

简言之,是否可以将一个外部配置单元表装载到具有不同架构的多个文件的顶部,其中该表是指定文件中所有列的全部或子集?
我知道,问题有点复杂,请看下面的场景。
我有两个Parquet文件,在两个不同的位置有不同的模式,由 yyyymmdd 格式

/app/data/source/file-1/20170501/file-1.pqt
/app/data/source/file-2/20170501/file-2.pqt

假设文件一是这样的;目前,文件是Parquet格式的。

File-1
ID|Name
1|My Zone

File-2
APP ID, APP Name, APP owner
1,My App, Manager-1

我想把它安装在一个外置的Hive桌上。其中,当某个主体发出select*from table命令时,他得到结果。

ID, Name, App Name, App Owner
1, My Zone, NULL, NULL
1, NULL, My APP, Manager-1

如果不可能,最好的推荐方法是什么?顺便说一句,请注意这两个文件是完全不同的源文件,而不是一个进化的模式。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题