如何将来自googlecloud pubsub(gcp)的消息发布到远程运行的kafka主题

tquggr8v  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(351)

需要帮助获得一些帮助发布所有消息从gcp(谷歌云pubsub)到一个远程运行Kafka主题
我使用了“中的连接器代码”https://powerspace.tech/how-to-stream-data-from-google-pubsub-to-kafka-with-kafka-connect-dbef1c340a76“并且能够将数据从gcp转移到Kafka主题。kafka和连接器在同一台机器上运行,现在我只需要有连接器代码并将来自pubsub的消息添加到远程运行kafka主题

o4tp2gmn

o4tp2gmn1#

将消息从google云pub/sub复制到远程运行的kafka主题应该与所有内容都位于gcp中没有太大区别。有两种选择:
使用kafka部署运行kafka connect。在这个场景中,您必须确保运行kafka的机器有权在端口443向googlecloud发出传出请求。
在gcp上运行kafka(可能在gce示例中)。你必须设置 bootstrap.servers 属性连接到运行kafka的服务器列表。这意味着这些服务器必须是可公开寻址的,并允许传入连接。

相关问题