我正在尝试找出在dataproc上运行apache flink并使用google pub/sub作为源/接收器的正确方法。当我创建dataproc集群时，在将flink初始化操作应用到最新的映像1.4之后，将安装flink 1.6.4。
问题是flink连接器gcp pubsub只能从flink版本1.9.0开始使用。
所以我的问题是什么是正确的方式来使用所有这些在一起？我应该用最新的flink建立自己的gce形象吗？已经有了吗？
我正在尝试找出在dataproc上运行apache flink并使用google pub/sub作为源/接收器的正确方法。当我创建dataproc集群时，在将flink初始化操作应用到最新的映像1.4之后，将安装flink 1.6.4。
问题是flink连接器gcp pubsub只能从flink版本1.9.0开始使用。
所以我的问题是什么是正确的方式来使用所有这些在一起？我应该用最新的flink建立自己的gce形象吗？已经有了吗？
2条答案
按热度按时间llmtgqce1#
我通过在kubernetes中运行flink1.9.0解决了这个问题。这样我就不依赖任何人，可以运行任何版本我需要的。
daupos2t2#
你已经说过了
flink-connector-gcp-pubusub仅适用于flink 1.9.0。所以你有两个选择：任何一个机具接头
基于flink初始化操作构建您自己的映像
我不建议实现连接器，因为它是一项复杂的任务，需要深入了解flink，而构建自己的形象应该相对容易，以flink1.6.4为例