kafka连接接收器连接器属性中的多个主题

wwwo4jvm  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(410)

我试图阅读Kafka2主题使用Cassandra接收器连接器和插入到2Cassandra表。我该怎么做呢?
这是我的 connector.properties 文件:

name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=topic1,topic2
connect.cassandra.kcql=INSERT INTO ks.table1 SELECT * FROM topic1;INSERT INTO ks.table2 SELECT * FROM topic2 
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=ks
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra

我做的一切都对吗?这是最好的方法还是我应该创建两个单独的连接器?

svdrlsy4

svdrlsy41#

如果你想在一个消费者中使用这两个主题,这很好,而且设置正确。这样做的最佳方式取决于这些消息应该由一个还是两个消费者使用。所以这取决于你的业务逻辑。
不管怎样,如果您想通过一个使用者使用两个主题,那么应该查找,因为使用者可以订阅多个主题。你试过管理这个消费者吗?有效吗?

5t7ly7z5

5t7ly7z52#

你的配置有一个问题。每个主题分区需要一个任务。所以如果你的主题只有一个分区,你需要 tasks.max 设置为至少2。
我没有在connect的文档中看到它,这很遗憾

相关问题