这里是一个假设,但类似的场景,我试图实现使用Kafka流。
我有流式数据,销售,我想用不经常变化的查找数据来充实,比如用户和项目,我计划为其创建ktable。我计划使用connectsink将这些丰富的数据推送到一个主题和搜索引擎。
如何确保用户/项目数据中的更新也会触发对过去销售数据的丰富,而不仅仅是流中接收的新数据。据我所知,ktable插入/更新不会触发对流的过去数据的任何重新处理。
我相信这可能是一个常见的用例,至少我可能不是第一个有这种需求的人。有解决方案或解决方法的指导吗?
这里是一个假设,但类似的场景,我试图实现使用Kafka流。
我有流式数据,销售,我想用不经常变化的查找数据来充实,比如用户和项目,我计划为其创建ktable。我计划使用connectsink将这些丰富的数据推送到一个主题和搜索引擎。
如何确保用户/项目数据中的更新也会触发对过去销售数据的丰富,而不仅仅是流中接收的新数据。据我所知,ktable插入/更新不会触发对流的过去数据的任何重新处理。
我相信这可能是一个常见的用例,至少我可能不是第一个有这种需求的人。有解决方案或解决方法的指导吗?
1条答案
按热度按时间yvt65v4c1#
如果要更新旧数据,则意味着要执行表联接。但是请注意,对于这种情况,两个输入的所有数据都需要保留在应用程序中。