readfromkafka转换python sdk

6rqinv9w  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(262)

我正在从运行计算引擎vm(gcp)的kafka服务器读取数据消息。使用kafkapython模块(在python中运行kafka客户机),我能够从主题中读取消息。相反,外部ptransform最终在apachebeam的pythonsdk中实现(https://issues.apache.org/jira/browse/beam-3788),进程被卡在readfromkafka转换上,没有输出任何关于主题的记录。这是我的密码:

with beam.Pipeline(options=p_opts) as pipeline:

    # Read from Kafka into a PCollection.
    messages = (pipeline | "ReadfromKafka" >> kafka.ReadFromKafka({'bootstrap.servers': '<Ip_address>:9092', 'auto_offset_reset': 'earliest',
                'enable_auto_commit': 'False'}, ['<topic_name>'])) | "Log_results" >> beam.ParDo(LogResults())

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题