是否可以在两个Kafka主题之间动态插入流处理器?

7rtdyuoh  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(182)

我是新的Kafka和数据流体系结构,我有一个关于设计和拓扑主题的问题。
我有一个真正标准的流程。
传入的数据流-->第一个主题t1
数据卫生(空值、高/低、转换、格式化等)-->第二个主题t2
数据处理-->第三主题t3
数据持久性-->第四主题t4
数据接收器-->进入ts db(例如XDB)
我想做的是能够在这些主题之间动态插入自定义流处理器。
例如,在主题t2之后和t3之前向消息添加另一个参数。因此,我将创建一个主题t2.5,并重新路由t2发送到t2.5,t2.5发送到t3。
一种方法是更新t2和t3连接器,并通过connectrestapi插入另一个连接器。但为此,我必须为我拥有的每个新需求/案例创建一个自定义连接器。
还有别的办法吗?
我也会接受这样的回答,即我的拓扑/体系结构不是Kafka主题的最佳拓扑/体系结构,但请提供您建议的替代方案的示例

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题