保留Flink检查点

wlwcrazw  于 12个月前  发布在  Apache
关注(0)|答案(1)|浏览(154)

我已经在docker容器中部署了任务管理器和作业管理器,并在flink-conf. yaml中配置了以下内容。

state.checkpoints.dir: file:///tmp/flink/checkpoints
state.storage.fs.memory-threshold: 0
state.backend.type: rocksdb
state.backend.incremental: true
state.checkpoints.num-retained: 100

字符串
当我检查任务管理器的tmp/flink/checkpoints目录时,它有很多chk-X目录,尽管我只配置了100个。但是在jobmanager的tmp/flink/checkpoints目录中只有一个chk-X(最新检查点目录)。
那么,
state.checkpoints.num-retained
这是我的工作吗?如果是的话,我错过了什么?
还是我的理解错了?

iqjalb3h

iqjalb3h1#

1)修改flink-conf.yaml文件

在Flink安装目录中找到flink-conf.yaml文件。
在文本编辑器中打开flink-conf.yaml文件。
搜索以下配置属性:

state.checkpoints.num-retained: 1

字符串
将该值更改为所需的保留检查点数量。例如:

state.checkpoints.num-retained: 3


保存对文件的更改。

2)在提交作业时指定配置

或者,您可以在提交Flink作业时使用-D命令行选项设置配置选项:

>./bin/flink run -Dstate.checkpoints.num-retained=3 your-flink-job.jar


将your-flink-job.jar替换为您的Flink作业的实际JAR文件。
在进行更改后,Flink将为您的作业保留指定数量的已完成检查点。根据您的需求和环境中可用的资源来调整该值。请记住,保留更多检查点可能会占用额外的存储空间。

相关问题