如何向Flink工作节点提供KafkaSource SSL文件

3npbholx  于 2022-12-09  发布在  Apache
关注(0)|答案(1)|浏览(154)

我正在创建一个基于Kafka的Flink流应用程序,并尝试创建一个关联的KafkaSource连接器以读取Kafka数据。
例如:

final KafkaSource<String> source = KafkaSource.<String>builder()
     // standard source builder setters
     // ...
     .setProperty(SslConfigs.SSL_TRUSTSTORE_LOCATION_CONFIG, "truststore.jks")
     .build();

truststore.jks文件是在应用程序执行之前在本地作业管理器节点上创建的,我已经验证了它的存在和正确填充。我的问题是,在分布式Flink应用程序中,这个truststore.jks不会自动存在于任务工作节点上,因此上面的代码在执行时会导致FileNotFoundException
我尝试过:

  • 使用env.registerCacheFilegetRuntimeContext().getDistributedCache().getFile()将文件分发到所有节点,但是由于正在构建图形并且应用程序尚未运行,因此RuntimeContext在此阶段不可用。
  • 提供信任库的base64参数表示,并手动将其转换为.jks格式。我需要某种“预初始化”KafkaSource挂钩来完成此操作,但在文档中没有找到任何此类功能。
  • 使用外部数据存储,比如s3,并从那里检索文件。就我所知,内部Kafka消费者不支持非本地文件系统,所以我仍然需要一些预初始化方法来在每个任务节点上本地检索文件。

在源初始化过程中,使此文件可供任务工作者节点使用的最佳方法是什么?
我以前读过类似的问题贴在这里:

  1. how to distribute files to worker nodes in apache flink
  • 如上所述,在应用程序中,此时我无法访问RuntimeContext
  1. Flink Kafka Connector SSL Support
  • 这将把truststore作为一个base64编码的字符串参数注入。我可以这样做,但是由于内部Kafka消费者需要一个文件,所以在消费者初始化之前,我会遇到将参数转换为.jks格式的问题。我看不到在文档中为KafkaSource注册“预初始化”钩子的方法。
xfb7svmp

xfb7svmp1#

更新日期:

我可以通过使用ssl.truststore.certificates配置字段来解决这个问题,这允许我提供底层truststore.jks证书的base64编码表示,而不是本地文件路径。
[我还必须将我的kafka-clients依赖项更新为2.7.x +,因为此配置在旧版本的库中不可用]

相关问题