是否可以使用带有elasticsearch接收器连接器的单个kafka示例进行写入，以分离具有相同索引的elasticsearch群集？文档。源数据可以是后端数据库或应用程序。一个示例用例是，一个集群可用于实时搜索，另一个可用于分析。
如果这是可能的，我如何配置接收器连接器？如果没有，我可以想出几个选择：
使用2个kafka示例，每个示例指向不同的elasticsearch集群。要么两个都写，要么一个写一个拷贝到另一个。
使用一个kafka示例并编写一个流处理器，它将写入两个集群。
还有其他的吗？
1条答案
按热度按时间rmbxnbpk1#
是的，你能做到。您可以使用单个kafka集群和单个kafka connect worker。一个连接器可以写入一个elasticsearch示例，因此如果您有多个目标elasticsearch，则需要配置多个连接器。
运行kafka connect的通常方法是在“分布式”模式下（甚至在单个示例上），然后通过restapi提交一个或多个连接器配置。
使用kafka connect不需要java客户机—它只是配置。每个连接器的配置说明从何处获取数据（哪个kafka主题）以及在何处写入数据（哪个elasticsearch示例）。
要了解有关kafka connect的更多信息，请参阅此演讲、此短视频以及有关kafka connect和elasticsearch的特定教程