如何使用Kafka连接Cassandra而不使用融合框架。
mw3dktmi1#
Kafka连接是框架。confluent只提供连接器。如果您不想使用合流开源(但为什么不呢?),那么您也可以将所有这些连接器与vanilla apache kafka一起使用。有多个casandra连接器可用:https://www.confluent.io/product/connectors/顺便说一句:没有列出的Cassandra连接器是保持汇合。当然,您也可以编写自己的连接器或使用任何其他第三方连接器。
c7rzv4ha2#
是的,你可以基本上你必须使用kafka连接api和cassandra驱动程序的datastax,并建立你的代码Kafkacassandra连接。
jfewjypa3#
datamountaineer流React堆有一个cassandra源和汇解决方案,可以与kafka connect一起使用。将jar文件(下载)放到kafka libs文件夹中,然后指定连接器,如下所示:
{ "name": "cassandra-NAME", "config": { "tasks.max": "1", "connector.class": "com.datamountaineer.streamreactor.connect.cassandra.source.CassandraSourceConnector", "connect.cassandra.key.space": "KEYSPACE", "connect.cassandra.source.kcql": "INSERT INTO KAFKA_TOPIC SELECT column1, timestamp_col FROM CASSANDRA_TABLE PK timestamp_col", "connect.cassandra.import.mode": "incremental", "connect.cassandra.contact.points": "localhost", "connect.cassandra.port": 9042, "connect.cassandra.import.poll.interval": 10000 }}
启动Kafka连接
bin/connect-distributed.sh config/connect-distributed.properties
并通过上面提到的json属性文件将cassandra连接器加载到kafka connect中(假设它的名称为connect cassandra source.json)
curl -X POST -H "Content-Type: application/json" -d @config/connect-cassandra-source.json localhost:8083/connectors
您需要创建一个以timeuuid列作为集群键的表。这是这里描述的。
3条答案
按热度按时间mw3dktmi1#
Kafka连接是框架。confluent只提供连接器。如果您不想使用合流开源(但为什么不呢?),那么您也可以将所有这些连接器与vanilla apache kafka一起使用。
有多个casandra连接器可用:https://www.confluent.io/product/connectors/
顺便说一句:没有列出的Cassandra连接器是保持汇合。
当然,您也可以编写自己的连接器或使用任何其他第三方连接器。
c7rzv4ha2#
是的,你可以基本上你必须使用kafka连接api和cassandra驱动程序的datastax,并建立你的代码Kafkacassandra连接。
jfewjypa3#
datamountaineer流React堆有一个cassandra源和汇解决方案,可以与kafka connect一起使用。
将jar文件(下载)放到kafka libs文件夹中,然后指定连接器,如下所示:
启动Kafka连接
并通过上面提到的json属性文件将cassandra连接器加载到kafka connect中(假设它的名称为connect cassandra source.json)
您需要创建一个以timeuuid列作为集群键的表。这是这里描述的。