如何使用Kafka连接Cassandra没有汇合

7tofc5zh  于 2021-06-07  发布在  Kafka
关注(0)|答案(3)|浏览(454)

如何使用Kafka连接Cassandra而不使用融合框架。

mw3dktmi

mw3dktmi1#

Kafka连接是框架。confluent只提供连接器。如果您不想使用合流开源(但为什么不呢?),那么您也可以将所有这些连接器与vanilla apache kafka一起使用。
有多个casandra连接器可用:https://www.confluent.io/product/connectors/
顺便说一句:没有列出的Cassandra连接器是保持汇合。
当然,您也可以编写自己的连接器或使用任何其他第三方连接器。

c7rzv4ha

c7rzv4ha2#

是的,你可以基本上你必须使用kafka连接api和cassandra驱动程序的datastax,并建立你的代码Kafkacassandra连接。

jfewjypa

jfewjypa3#

datamountaineer流React堆有一个cassandra源和汇解决方案,可以与kafka connect一起使用。
将jar文件(下载)放到kafka libs文件夹中,然后指定连接器,如下所示:

{
"name": "cassandra-NAME",
"config": {
    "tasks.max": "1",
    "connector.class": "com.datamountaineer.streamreactor.connect.cassandra.source.CassandraSourceConnector",
    "connect.cassandra.key.space": "KEYSPACE",
    "connect.cassandra.source.kcql": "INSERT INTO KAFKA_TOPIC SELECT column1, timestamp_col FROM CASSANDRA_TABLE PK timestamp_col",
    "connect.cassandra.import.mode": "incremental",
    "connect.cassandra.contact.points": "localhost",
    "connect.cassandra.port": 9042,
    "connect.cassandra.import.poll.interval": 10000
}}

启动Kafka连接

bin/connect-distributed.sh config/connect-distributed.properties

并通过上面提到的json属性文件将cassandra连接器加载到kafka connect中(假设它的名称为connect cassandra source.json)

curl -X POST -H "Content-Type: application/json" -d @config/connect-cassandra-source.json localhost:8083/connectors

您需要创建一个以timeuuid列作为集群键的表。这是这里描述的。

相关问题