据我所知，hadoop中不支持增量加载。我在玩Pig和Hive。出于测试目的，我只是从hcatalog中的表中读取现有值，将其与新数据合并，然后在hcatalog中创建新表，插入数据。它需要通过配置单元来维护，以删除旧表、重命名新表等。。。另一种解决方案是向现有表中的分区添加新数据。总的来说，你能建议增量加载的最佳解决方案吗？当做棘爪
nlejzf6q1#
向hive/hcatalog表添加分区数据是增量更新的最佳解决方案。此外，还可以有静态和动态分区。
1条答案
按热度按时间nlejzf6q1#
向hive/hcatalog表添加分区数据是增量更新的最佳解决方案。此外，还可以有静态和动态分区。