我尝试使用kafka python作为一种非常基本的数据流方式,在两个jupyter笔记本中设置一个kafkaproducer和一个kafkaconsumer,类似于本文:https://dorianbg.wordpress.com/2017/11/11/ingesting-realtime-tweets-using-apache-kafka-tweepy-and-python/
设置我的制作人:
import time
!pip install kafka-python
from kafka import KafkaConsumer, KafkaProducer
producer = KafkaProducer(bootstrap_servers=['localhost:9092'], api_version=(0, 10, 1), max_block_ms = 300000, api_version_auto_timeout_ms=300000)
topic_name = 'test'
def send_data(interval):
while True:
producer.send(topic_name, str(1))
time.sleep(interval)
设置我的消费者:
!pip install kafka-python
from kafka import KafkaConsumer, KafkaProducer
consumer = KafkaConsumer(bootstrap_servers = "localhost:9092",
group_id = "random",
api_version=(0, 10, 1), consumer_timeout_ms=1000)
consumer.subscribe('test')
for message in consumer:
print(message)
当我在不同的笔记本中运行这些时,我在producer笔记本中得到以下消息:
kafkatimeouterror:kafkatimeouterror:在300.0秒后更新元数据失败。
我很清楚,这是以前提出的一个问题(kafkatimeouterror('failed to update metadata after 60.0 secs.'),https://github.com/dpkp/kafka-python/issues/721等),但这些情况不同于我,或提供的答案不能解决我的问题。
谢谢!
暂无答案!
目前还没有任何答案,快来回答吧!