对于一个需求,我们将以下数据管道放在一起。ibm mq(源)->kafka connect->streaming api(kafka/flink/spark)->db(sink)。我想检查在kafka连接层或在消息到达kafka/kafka连接集群之前是否有执行消息编码转换(自定义)的选项。该选项不应给数据管道增加显著的延迟。
bttbmeg01#
是的,您所描述的是kafka connect的单消息转换功能。apachekafka附带了各种转换,您可以编写自己的转换。
1条答案
按热度按时间bttbmeg01#
是的,您所描述的是kafka connect的单消息转换功能。apachekafka附带了各种转换,您可以编写自己的转换。