我已经在docker容器中部署了任务管理器和作业管理器,并在flink-conf. yaml中配置了以下内容。
state.checkpoints.dir: file:///tmp/flink/checkpoints
state.storage.fs.memory-threshold: 0
state.backend.type: rocksdb
state.backend.incremental: true
state.checkpoints.num-retained: 100
字符串
当我检查任务管理器的tmp/flink/checkpoints目录时,它有很多chk-X目录,尽管我只配置了100个。但是在jobmanager的tmp/flink/checkpoints目录中只有一个chk-X(最新检查点目录)。
那么,
state.checkpoints.num-retained
这是我的工作吗?如果是的话,我错过了什么?
还是我的理解错了?
1条答案
按热度按时间iqjalb3h1#
1)修改flink-conf.yaml文件
在Flink安装目录中找到flink-conf.yaml文件。
在文本编辑器中打开flink-conf.yaml文件。
搜索以下配置属性:
字符串
将该值更改为所需的保留检查点数量。例如:
型
保存对文件的更改。
2)在提交作业时指定配置
或者,您可以在提交Flink作业时使用-D命令行选项设置配置选项:
型
将your-flink-job.jar替换为您的Flink作业的实际JAR文件。
在进行更改后,Flink将为您的作业保留指定数量的已完成检查点。根据您的需求和环境中可用的资源来调整该值。请记住,保留更多检查点可能会占用额外的存储空间。