如何有一个Flink工作产生的Kafka主题数量可变,没有重新部署?

hmae6n7t  于 2021-07-15  发布在  Flink
关注(0)|答案(1)|浏览(400)

我有一个用例,我需要一个flink应用程序生成不同数量的kafka主题,可能在不同的集群中,而不必重新部署应用程序。假设我在配置文件中维护了目标集群/主题集,并且在flink应用程序中有代码在运行时检测并加载这些配置文件中的任何更改。
我应该写一个习惯吗 SinkFunction 有Kafka制作人吗?还是一种习俗 SinkFunction 将工作委托给 FlinkKafkaProducer 示例?还是有更好的办法?

dy2hfwbg

dy2hfwbg1#

我的解决方案已弃用,但您可以使用自己的序列化模式(实现keyedserializationschema)创建flinkkafkaproducer并重写gettargettopic方法。

相关问题