使用ApacheKafka将数据从mssql同步到elasticsearch

fae0ux8s  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(384)

我目前正在sql server中运行一个文本搜索,这正成为一个瓶颈,出于明显的原因,我想将内容移动到elasticsearch,但是我知道为了获得最佳性能和可伸缩性,我必须对数据进行非规范化。
目前,我的文本搜索包括一些聚合和连接多个表以获得最终输出。加入的表没有那么大(每个表最多20gb),但会不定期地更改(插入、更新、删除)(其中两个每周一次,另一个按需更改) x 一天三次)。
我的计划是将apache kafka与kafka connect一起使用,以便从我的sql服务器读取cdc,在kafka中加入此数据并将其持久化到elasticsearch,但是我找不到任何材料告诉我当数据持久化到elasticsearch时将如何处理删除。
默认驱动程序是否支持这一点?如果没有,有什么可能性?apache spark,logstash?

ufj5ltwl

ufj5ltwl1#

我不确定这是否已经在Kafka连接现在可能,但似乎这可以解决与nifi。
希望我能理解这一需求,以下是使用标准nifi处理器之一删除elasticsearch记录的文档:
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-elasticsearch-5-nar/1.5.0/org.apache.nifi.processors.elasticsearch.deleteelasticsearch5/

相关问题