有没有可能将kafka与google云数据流结合使用

e37o9pze  于 2021-06-08  发布在  Kafka
关注(0)|答案(3)|浏览(415)

我有两个问题
1) 我想使用Kafka与谷歌云数据流管道程序。在我的流水线程序中,我想从Kafka那里读取数据,有可能吗?
2) 我创建了启用了bigquery的示例,现在我想启用pubsub,我该怎么办?

uajslkp6

uajslkp61#

(2) 从2015年4月27日起,您可以按如下方式启用云发布/订阅api:
转到开发人员控制台上的项目页面
点击 APIs & auth -> APIs 点击 MoreGoogle Cloud APIs 点击 Cloud Pub/Sub API 点击 Enable API

pnwntuvh

pnwntuvh2#

(1) raghu提到的广告,在2016年中期,通过 KafkaIO 包裹。您可以查看包的文档[1]以了解如何使用它。
(2) 我不太明白你的意思。你能提供更多细节吗?
[1] https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/kafka/kafkaio.html

ugmeyewa

ugmeyewa3#

kafka支持于2016年年中添加到dataflow(和apache beam)。你可以读写Kafka流媒体管道。有关详细信息,请参阅javadoc KafkaIO 在Apache光束。

相关问题