我正在尝试运行官方的“kafka010example.scala”,但它并没有像预期的那样从输入主题读取内容并写入输出。我错过了什么或做错了什么?任何帮助或暗示都非常感谢。我就是这么做的:
在docker容器中启动kafka(spotify)/kafka:latest) $ docker run -d -p 2181:2181 -p 9092:9092 spotify/kafka:latest
已在容器内启动bash会话: $ docker exec -it 26d1cfced4cb /bin/bash
创建输入和输出主题:
$ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-input $ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-output
启动“kafka010example.scala”运行 flink 1.3.2
在本地模式(微型集群)下 flink-connector-kafka-0.10_2.11
使用以下参数: --input-topic test-input --output-topic test-output --bootstrap.servers localhost:9092 --zookeeper.connect localhost:2181 --group.id myconsumer
日志:https://file.io/jwsqi8
向主题发送了一些消息:
$ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-input blah
blahh blahhh
检查输出主题的偏移量-无 $ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --group myconsumer --topic test-output
```
Group Topic Pid Offset logSize
Lag Owner
myconsumer test-output 0 0 0
0 none
检查消费组偏移-无 `$ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group myconsumer` ```
No topic available for consumer group provided
GROUP TOPIC PARTITION
CURRENT-OFFSET LOG-END-OFFSET LAG OWNER
2条答案
按热度按时间6tdlim6h1#
我建议使用控制台使用者来查看测试输出主题。我不希望测试输出主题的偏移量会增加,因为没有人读过它。
qlckcl4x2#
第7步应该是: