flink流媒体示例:kafka010example.scala不工作

sycxhyv7  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(361)

我正在尝试运行官方的“kafka010example.scala”,但它并没有像预期的那样从输入主题读取内容并写入输出。我错过了什么或做错了什么?任何帮助或暗示都非常感谢。我就是这么做的:
在docker容器中启动kafka(spotify)/kafka:latest) $ docker run -d -p 2181:2181 -p 9092:9092 spotify/kafka:latest 已在容器内启动bash会话: $ docker exec -it 26d1cfced4cb /bin/bash 创建输入和输出主题:
$ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-input $ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-output 启动“kafka010example.scala”运行 flink 1.3.2 在本地模式(微型集群)下 flink-connector-kafka-0.10_2.11 使用以下参数: --input-topic test-input --output-topic test-output --bootstrap.servers localhost:9092 --zookeeper.connect localhost:2181 --group.id myconsumer 日志:https://file.io/jwsqi8
向主题发送了一些消息:
$ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-input blah blahh blahhh 检查输出主题的偏移量-无 $ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --group myconsumer --topic test-output ```
Group Topic Pid Offset logSize
Lag Owner
myconsumer test-output 0 0 0
0 none

检查消费组偏移-无 `$ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group myconsumer` ```
No topic available for consumer group provided
GROUP                          TOPIC                          PARTITION  
CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
6tdlim6h

6tdlim6h1#

我建议使用控制台使用者来查看测试输出主题。我不希望测试输出主题的偏移量会增加,因为没有人读过它。

qlckcl4x

qlckcl4x2#

第7步应该是:

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --group myconsumer --topic test-output

相关问题