独立触发流式处理进程分区

pdkcd3nj  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(191)

我们有一个场景,在这个场景中,我们按照帐号对输入的kafka主题进行了分区。每个分区直接写入数据库,彼此之间没有依赖关系。
当前,即使一个分区在5秒内完成处理,它也必须等待最慢的分区完成,才能开始处理下一批。假设最慢的分区需要30秒,那么在5秒内完成的分区必须保持空闲25秒。
有没有一种方法可以建立一个微批处理系统,在这个系统中,我们按顺序处理每个分区,并且独立于其他分区?在我前面的例子中,在5秒内完成批处理的分区应该立即开始下一批处理,而不是空闲25秒。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题