我们正在创建一个新的用户数据跟踪系统。所以每当用户执行诸如更改名称、添加新注解等任何活动时,我们都会将用户数据发送到kafka主题。所以在Kafka,对于一个用户,我们有多个数据包。
要处理来自kafka的用户数据并将此处理数据写入elasticsearch,我们不希望处理来自kafka的单个数据包。我们想要的是将来自kafka的用户数据聚合起来,创建一个数据包,处理这个数据包,并将其索引到elasticsearch。将数据索引到elasticsearch最多可延迟30分钟。
我们将使用什么来聚集用户数据,以及将这些中间数据放在何处?
暂无答案!
目前还没有任何答案,快来回答吧!