FlinksRockSDB检查点状态大小不断增大,从不缩小

bq3bfh9z  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(178)

我们有一个apachebeam作业,它从kafka读取数据并写入es。如果某个东西(乐观锁定)失败了,它会将事件置于死信主题中,除了rocksdb检查点会增长到现在的1gb之外,其他一切都会顺利运行。
有没有办法告诉rocks db在一段时间后放弃状态大小?

kafka --> ESInsert-->Notify
     |                   |
      -------------------

我们没有任何状态可存储..我们所需要的是,如果消息处理成功并提交了偏移量,则不再需要该消息。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题