对来自kafka的用户数据进行聚合以创建新的单个数据包

f1tvaqid  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(120)

我们正在创建一个新的用户数据跟踪系统。所以每当用户执行诸如更改名称、添加新注解等任何活动时,我们都会将用户数据发送到kafka主题。所以在Kafka,对于一个用户,我们有多个数据包。
要处理来自kafka的用户数据并将此处理数据写入elasticsearch,我们不希望处理来自kafka的单个数据包。我们想要的是将来自kafka的用户数据聚合起来,创建一个数据包,处理这个数据包,并将其索引到elasticsearch。将数据索引到elasticsearch最多可延迟30分钟。
我们将使用什么来聚集用户数据,以及将这些中间数据放在何处?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题