情况是这样的:我是Apache Nifi的新手。我在Apache Nifi中构建了一个快速的worflow来将数据从Oracle数据库索引到Solr标准核心示例。我有2个处理器:1-QueryDatabaseTable-从Oracle数据库获取数据2-PutSolrRecord-将记录索引到Solr。
这些工作正常,但我的问题是,每次我运行工作流时,文档都会重复-这意味着以前的记录不会删除,新的记录和现有的记录都会被索引-增加文档的数量。
问:就像Solr数据导入库(DIH)-现在不推荐使用,有没有一种方法可以配置Nifi中的PutSolrRecord处理器,在索引新记录之前首先删除Solr索引中的所有预索引记录+Solr索引中的现有文档?我不想做增量索引,但每次运行nifi流时删除所有内容并在索引中插入新记录/文档。
这个删除配置有PutsolrRecord处理器属性吗?
the Nifi flow
1条答案
按热度按时间doinxwow1#
我通过配置ExecuteStreamcommand Nifi Processor来解决这个问题,执行一个https culr命令,然后传递给solr删除所有文档,然后下一个PutSolrRecord将重新索引文档。我有多个核心运行,这样我计划在一个核心重新索引时减少访问停机时间。