在诺德，我已经能够订阅 json stream 使用 KSQL node . 现在，我尝试将该流以json文件的形式推送到s3 bucket，并使用 kafka-s3-connector 但我只能用cli来实现这一点，而不能用 SQL and S3 node 安装在node-red中。是否有其他节点丢失，请提供相关帮助？
json stream
KSQL node
kafka-s3-connector
SQL and S3 node
2mbi3lxu1#
我只能使用cli来完成此操作我不熟悉nodered，但是您可以将httppost请求发送到kafkaconnect分布式服务器，其中s3连接器可用
curl -XPOST http://connect-server:8083/connectors \ -d '{ "name": "sink-s3", "config": { "topics": "your_topic", "tasks.max": "2", "name": "sink-s3", "connector.class": "io.confluent.connect.s3.S3SinkConnector", "storage.class": "io.confluent.connect.s3.storage.S3Storage", "format.class": "io.confluent.connect.s3.format.json.JsonFormat", "s3.bucket.name": "example-kafka-bucket", "key.converter": "org.apache.kafka.connect.json.JsonConverter", "value.converter": "org.apache.kafka.connect.json.JsonConverter", "__comment": "Confluent Kafka Connect properties", "flush.size": "200", "s3.part.size": "5242880", "schema.generator.class": "io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator", "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner", "schema.compatibility": "BACKWARD" } }'
1条答案
按热度按时间2mbi3lxu1#
我只能使用cli来完成此操作
我不熟悉nodered，但是您可以将httppost请求发送到kafkaconnect分布式服务器，其中s3连接器可用