我们在生产环境中有一个安全的kafka集群(使用tls加密、基于证书的客户端身份验证和acl)。我正在尝试找出如何用适当的设置配置flink kafka连接器,以便它可以安全地连接到我们的kafka群集。这对Flink有可能吗?我必须通过属性传递安全配置吗?
我们的flink集群运行在kubernetes(1.14.2)上,使用最新的flink稳定版本(v1.8)和集成的kafka连接器。
我们在生产环境中有一个安全的kafka集群(使用tls加密、基于证书的客户端身份验证和acl)。我正在尝试找出如何用适当的设置配置flink kafka连接器,以便它可以安全地连接到我们的kafka群集。这对Flink有可能吗?我必须通过属性传递安全配置吗?
我们的flink集群运行在kubernetes(1.14.2)上,使用最新的flink稳定版本(v1.8)和集成的kafka连接器。
2条答案
按热度按时间qlzsbp2j1#
很高兴知道您找到了一种使用keystore和trustore将kafka与flink连接起来的方法。我使用kerberose keytab进行连接,工作正常,但现在需要使用trustore和keystore而不是keytab进行连接。
我尝试使用不同版本的连接器连接,但未能成功,您能否分享有关如何实现这一点的更多信息?
谢谢马亨德拉
o4tp2gmn2#
好吧,在我摆弄了一下文件之后,我已经让它自己工作了。我现在在运行helm时提供了部署时所需的java密钥库(我们通过helm图表部署整个flink内容)。密钥库将被base64编码并保存为kubernetes秘密。taskmanager pods将秘密装载到给定的位置。
我现在可以在运行flink作业时将keystore/truststore的位置及其密码作为params传递到命令行。这些参数最终用于通过属性配置kafka客户机。
如果有人有兴趣或有问题请告诉我,我可以张贴更详细的说明,如果需要的话。