structured-streaming-foreachbatch与kafka编写的一次交付语义

6ie5vjzr  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(364)

在spark文档中提到,foreachbatch不支持完全一次交付语义,只能支持至少一次语义。与Kafka相比,我们怎样才能实现它?我们可以使用批标识和重复数据消除作为提示。
在这里,我阅读了kafka的文章,并用foreachbatch的结构化流式api给kafka写信。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题