我按照这个链接用kafka connect配置cassandra sink。
在博客文章中,我们首先开始Kafka连接。接下来,我们将cassandrasink配置发布到kafka connect。
java -jar kafka-connect-cli-0.5-all.jar create cassandra-sink-orders < cassandra-sink-distributed-orders.properties
连接器 cassandra-sink-orders
:
name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=orders-topic
connect.cassandra.export.route.query=INSERT INTO orders SELECT * FROM orders-topic
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=demo
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra
现在我想附加一个不同的配置与相同的Kafka连接。当我这样做时,先前的workersink就会分离。有没有一种方法,他们都可以并行工作,与一个单一的Kafka连接。或者我需要在其他端口启动另一个kafka连接并附加新配置吗?
最佳做法是什么?
1条答案
按热度按时间frebpwbc1#
您可以运行:
Kafka连接在分布式模式,并运行多个连接器。这对于单节点部署是有效的,并且具有易于扩展的优点—只需添加更多节点,kafka connect就可以处理工作负载的分布。使用restapi来控制kafka connect配置,如这里所示和这里所记录的。
kafka以独立模式连接,并将一系列连接器配置作为命令行参数传递。