我有3个数据源，它们提供了一个api来访问它们，每个数据源都提供了一些信息，我想处理所有这三个请求，并在数据库中保存所有请求。所以我的问题是，如果所有这些源都有一个公共id，kafka能合并这些请求吗？把它保存在db中，然后向下游系统发送一个请求。。？
inn6fuwd1#
我们可以将不同数据源的数据存储在不同的主题中，然后使用kafka流将多个主题的消息合并成单个主题。scala提供了一个合并数据的示例
val mergedStream = streamBuilder.merge(sensor1Stream, sensor2Stream, sensor3Stream, sensor4Stream) mergedStream.to(Serdes.String(), heartbeatSerde, "Merged-SensorsHeartbeat")
我建议您按照下面的链接了解更多信息。http://www.alternatestack.com/development/app-development/kafka-streams-merging-multiple-kstream-s/有两种类型的连接器可用：接收器连接器和源连接器。源连接器用于从外部系统向kafka主题写入数据，而接收器连接器用于从kafka主题读取数据并向外部系统写入数据。现在，您可以使用kafka连接器或debezium从合并分区中读取数据并写入数据库。
1条答案
按热度按时间inn6fuwd1#
我们可以将不同数据源的数据存储在不同的主题中，然后使用kafka流将多个主题的消息合并成单个主题。
scala提供了一个合并数据的示例
我建议您按照下面的链接了解更多信息。
http://www.alternatestack.com/development/app-development/kafka-streams-merging-multiple-kstream-s/
有两种类型的连接器可用：接收器连接器和源连接器。源连接器用于从外部系统向kafka主题写入数据，而接收器连接器用于从kafka主题读取数据并向外部系统写入数据。
现在，您可以使用kafka连接器或debezium从合并分区中读取数据并写入数据库。