刷新配置单元中的配置单元表

yrdbyhpb  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(310)

我有几个表在配置单元,每天新的csv文件将添加到配置单元表的位置。当一个新数据可用时,我需要刷新表,以便在表中看到新数据。
加载数据的步骤:
首先用csv serde属性创建一个表
创建另一个表与Parquet表做生产
将数据从第一个表插入第二个表。
首字母:
1,a
2,b
3、c
新建文件:
4,d
我在谷歌上搜索了一下,发现可以通过以下方式实现:
1) 增量表,将新文件加载到增量表并执行insert语句。在我的例子中,我们有100多个表,所以不想创建这么多增量表
2) 通过impala shell使用refresh命令。我们的初始表存储为csv serde格式。因此,当我刷新初始表时,会得到一个错误impala不支持serde propertied。
你能为我的情况提供一个解决方案吗。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题