我已经写了一个kafka连接到消费者主题,但是我的主题在运行时会改变,所以我需要重新配置主题。我知道使用restfulapi可以更新主题还有其他方法可以实现吗?
nfzehxib1#
kafka connect旨在作为服务运行,它还支持用于管理连接器的restapi。在运行时通过rest api更新的唯一方法:put/connectors/{name}/config—在运行时更新连接器的配置参数。
Request Json Object - config(map) { "connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector", "tasks.max": "20", "topics": "kafkaConnectTopic", "hdfs.url": "hdfs://smoketest:9000", "hadoop.conf.dir": "/etc/hadoop/conf", "hadoop.home": "/etc/hadoop", "flush.size": "1000", "rotate.interval.ms": "100" } Response : { "name": "hdfs-sink-connector", "config": { "connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector", "tasks.max": "20", "topics": "kafkaConnectTopic", "hdfs.url": "hdfs://smoketest:9000", "hadoop.conf.dir": "/etc/hadoop/conf", "hadoop.home": "/etc/hadoop", "flush.size": "1000", "rotate.interval.ms": "100" }, "tasks": [ { "connector": "hdfs-sink-connector", "task": 1 }, { "connector": "hdfs-sink-connector", "task": 2 }, { "connector": "hdfs-sink-connector", "task": 3 } ] }
为了进一步阅读,你可以通过http://docs.confluent.io/3.0.0/connect/userguide.html#connect-行政管理。
gywdnpxw2#
如果提前知道要切换到的主题集,则可以在连接器配置中指定要使用的主题列表。否则,restapi是动态更新配置的唯一方法。
2条答案
按热度按时间nfzehxib1#
kafka connect旨在作为服务运行,它还支持用于管理连接器的restapi。在运行时通过rest api更新的唯一方法:
put/connectors/{name}/config—在运行时更新连接器的配置参数。
为了进一步阅读,你可以通过http://docs.confluent.io/3.0.0/connect/userguide.html#connect-行政管理。
gywdnpxw2#
如果提前知道要切换到的主题集,则可以在连接器配置中指定要使用的主题列表。否则,restapi是动态更新配置的唯一方法。