不接收带有合流kafka简单生产者/消费者示例的消息?

ykejflvf  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(327)

我跑了 kafka_2.11-0.10.1.1confluent-kafka-0.9.2 (主分支)使用 librdkafka-0.9.2 . 我的机器运行ubuntu-16.04 x86\u 64。我跑了 zookeeper-3.4.8-1 左舷 2181 . 我运行confluent producer示例如下:

$ cd confluent-kafka-python/examples
$ python producer.py localhost:9095 confluent-01
first message
2nd msg

消费者:

$ python consumer.py localhost:9095 confluentgroup confluent-01

所有东西都在我的机器上本地运行,而我的机器不运行任何防火墙。
评论:
已在zookeeper上成功创建主题
代理成功接收生产者消息:
使用者设置以下配置 {'bootstrap.servers': broker, 'group.id': group, 'session.timeout.ms': 6000, 'default.topic.config': {'auto.offset.reset': 'smallest'}, 'api.version.request': True } 一开始 producer/consumer 好好工作一段时间,直到我 Receive failed: Disconnected 在制片方。行使:

$ python producer.py  localhost:9095 confluent-02
asd
% Message delivered to confluent-02 [0]
1234123
890890
% Message delivered to confluent-02 [0]
%3|1485791262.420|FAIL|rdkafka#producer-1| [thrd:obscura.ax.example.com:9095/3]: obscura.ax.example.com:9095/3: Receive failed: Disconnected

问题:过了一段时间,我没有得到任何关于消费者的信息
问题:
我做错什么了?
如何验证代理端已接收到生产者消息?在代理端正确接收生产者消息。
如何调试用户端?我补充道 'debug': "cgrp, topic, fetch" 我在哪里可以看日志?

nfzehxib

nfzehxib1#

我有两个建议:
1) 尝试添加选项--from beging to the consumer命令
2) 代理的默认端口是9092,因此请检查要使用的正确端口
希望这有帮助。

wixjitnu

wixjitnu2#

我最终还是成功了。最初,我运行了合流Kafka教程,其中:
不陷井 ctrl+c sigint信号,
在中时不超时 poll() 在消费者代码中。所以我不得不 ctrl+z 那么 kill %1 在我的linux机器上。我相信这个终端并没有关闭插座,它已经打开了一段时间( TIME_WAIT ). 然后,当我重新启动消费者时,它从旧插座中取出垃圾并卡住了。
我补充道 try: [...] except KeyboardInterrupt: consumer.close() 为了抓住 ctrl+c 把插座关上。不再面对这个问题。
我希望这能对将来的人有所帮助。

相关问题