我跑了 kafka_2.11-0.10.1.1
与 confluent-kafka-0.9.2
(主分支)使用 librdkafka-0.9.2
. 我的机器运行ubuntu-16.04 x86\u 64。我跑了 zookeeper-3.4.8-1
左舷 2181
. 我运行confluent producer示例如下:
$ cd confluent-kafka-python/examples
$ python producer.py localhost:9095 confluent-01
first message
2nd msg
消费者:
$ python consumer.py localhost:9095 confluentgroup confluent-01
所有东西都在我的机器上本地运行,而我的机器不运行任何防火墙。
评论:
已在zookeeper上成功创建主题
代理成功接收生产者消息:
使用者设置以下配置 {'bootstrap.servers': broker, 'group.id': group, 'session.timeout.ms': 6000, 'default.topic.config': {'auto.offset.reset': 'smallest'}, 'api.version.request': True }
一开始 producer/consumer
好好工作一段时间,直到我 Receive failed: Disconnected
在制片方。行使:
$ python producer.py localhost:9095 confluent-02
asd
% Message delivered to confluent-02 [0]
1234123
890890
% Message delivered to confluent-02 [0]
%3|1485791262.420|FAIL|rdkafka#producer-1| [thrd:obscura.ax.example.com:9095/3]: obscura.ax.example.com:9095/3: Receive failed: Disconnected
问题:过了一段时间,我没有得到任何关于消费者的信息
问题:
我做错什么了?
如何验证代理端已接收到生产者消息?在代理端正确接收生产者消息。
如何调试用户端?我补充道 'debug': "cgrp, topic, fetch"
我在哪里可以看日志?
2条答案
按热度按时间nfzehxib1#
我有两个建议:
1) 尝试添加选项--from beging to the consumer命令
2) 代理的默认端口是9092,因此请检查要使用的正确端口
希望这有帮助。
wixjitnu2#
我最终还是成功了。最初,我运行了合流Kafka教程,其中:
不陷井
ctrl+c
sigint信号,在中时不超时
poll()
在消费者代码中。所以我不得不ctrl+z
那么kill %1
在我的linux机器上。我相信这个终端并没有关闭插座,它已经打开了一段时间(TIME_WAIT
). 然后,当我重新启动消费者时,它从旧插座中取出垃圾并卡住了。我补充道
try: [...] except KeyboardInterrupt: consumer.close()
为了抓住ctrl+c
把插座关上。不再面对这个问题。我希望这能对将来的人有所帮助。