我试图阅读Kafka2主题使用Cassandra接收器连接器和插入到2Cassandra表。我该怎么做呢?
这是我的 connector.properties
文件:
name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=topic1,topic2
connect.cassandra.kcql=INSERT INTO ks.table1 SELECT * FROM topic1;INSERT INTO ks.table2 SELECT * FROM topic2
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=ks
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra
我做的一切都对吗?这是最好的方法还是我应该创建两个单独的连接器?
2条答案
按热度按时间svdrlsy41#
如果你想在一个消费者中使用这两个主题,这很好,而且设置正确。这样做的最佳方式取决于这些消息应该由一个还是两个消费者使用。所以这取决于你的业务逻辑。
不管怎样,如果您想通过一个使用者使用两个主题,那么应该查找,因为使用者可以订阅多个主题。你试过管理这个消费者吗?有效吗?
5t7ly7z52#
你的配置有一个问题。每个主题分区需要一个任务。所以如果你的主题只有一个分区,你需要
tasks.max
设置为至少2。我没有在connect的文档中看到它,这很遗憾