如何以增量方式将数据从配置单元加载到solr

8ehkhllq  于 2021-06-27  发布在  Hive
关注(0)|答案(1)|浏览(375)

我有一个solr收藏店每天的销售记录。比如说1月1日,我卖出了100种产品,并将数据从hive加载到solr。第二天我又卖出了100种产品,我想把数据从101条加载到200条,但是我的Hive包含了200条记录,所以如果我输入数据,我会得到300条记录。第一天100,第二天200(第一天100)+第二天100)。

6qqygrtg

6qqygrtg1#

无法将数据从配置单元增量加载到solr。1.从solr中删除数据并再次插入完整数据。适合小table,但大table需要很多时间
使用where子句从配置单元插入数据,这样就不会有重复的数据。

相关问题