我正在从运行计算引擎vm(gcp)的kafka服务器读取数据消息。使用kafkapython模块(在python中运行kafka客户机),我能够从主题中读取消息。相反,外部ptransform最终在apachebeam的pythonsdk中实现(https://issues.apache.org/jira/browse/beam-3788),进程被卡在readfromkafka转换上,没有输出任何关于主题的记录。这是我的密码:
with beam.Pipeline(options=p_opts) as pipeline:
# Read from Kafka into a PCollection.
messages = (pipeline | "ReadfromKafka" >> kafka.ReadFromKafka({'bootstrap.servers': '<Ip_address>:9092', 'auto_offset_reset': 'earliest',
'enable_auto_commit': 'False'}, ['<topic_name>'])) | "Log_results" >> beam.ParDo(LogResults())
暂无答案!
目前还没有任何答案,快来回答吧!