kafka connect elasticsearch索引的自动小写主题名称

pwuypxnk  于 2021-06-06  发布在  Kafka
关注(0)|答案(2)|浏览(296)

我正在使用elasticsearch接收器kafka连接器将来自多个kafka主题的消息索引到elasticsearch。我有我的主题和camelcase命名,我不能改变它。因此,在启动es sink连接器时,它不会索引任何内容,因为elaticsearch在非小写索引名方面存在问题。
我知道我可以用 topic.index.map 属性手动将主题名称转换为索引。 topic.index.map=myTopic1:mytopic1, myTopic2:mytopic2,... 有没有办法自动转换成小写?我有几十个主题要转换,我想很快就会有上百个。

z31licg0

z31licg01#

从elasticsearchFlume连接器的最新版本开始,这是自动完成的。解决这个问题的公关是https://github.com/confluentinc/kafka-connect-elasticsearch/pull/251

wmomyfyw

wmomyfyw2#

从那以后就发现了 5.1 如果没有为主题指定Map,它们会自动执行此操作。
从这里开始:

final String indexOverride = topicToIndexMap.get(topic);
String index = indexOverride != null ? indexOverride : topic.toLowerCase();

有关详细信息,请参阅此提交。

相关问题