高容量数据的java数据摄取管道

lnvxswe2  于 2021-07-13  发布在  Java
关注(0)|答案(0)|浏览(211)

我有一个要求,我必须做以下步骤。
查找其数据被修改的用户列表
现在每个用户数据可以并行运行。
子步骤包括:
从mongo db获取用户修改后的数据(可以是多行)
通过更新这些记录的状态将它们锁定为正在处理
3.改造他们。每行将扁平化为2000条记录。
出版给Kafka
将状态更新为在mongo db中发布
并进行一些后处理api调用。
一个用户在mongodb中最多可以有64条记录,而反过来,128000条消息将被发送到kafka。
有谁能推荐使用spring构造的更好的设计方法吗。spring批处理是否适合我的用例?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题