【13】Flink 之 Restart Strategies(重启策略)

x33g5p2x  于2021-12-25 转载在 其他  
字(1.2k)|赞(0)|评价(0)|浏览(526)

1、Restart Strategies

  • Flink支持不同的重启策略,以在故障发生时控制作业如何重启
  • 集群在启动时会伴随一个默认的重启策略,在没有定义具体重启策略时会使用该默认策略。 如果在工作提交时指定了一个重启策略,该策略会覆盖集群的 默认策略
  • 默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使用。
  • 常用的重启策略
  1. 固定间隔 (Fixed delay)
  2. 失败率 (Failure rate)
  3. 无重启 (No restart)
  • 如果没有启用 checkpointing,则使用无重启 (no restart) 策略
  • 如果启用了 checkpointing,但没有配置重启策略,则使用固定间隔 (fixed-delay) 策略,其中 Integer.MAX_VALUE 参数是尝试重启次数
  • 重启策略可以在flink-conf.yaml中配置,表示全局的配置。也可以在应用代码中动态指定,会覆盖全局配置

2、三种重启策略

2.1、固定间隔 (Fixed delay)

  • 第一种:全局配置 flink-conf.yaml
restart-strategy: fixed-delay
  restart-strategy.fixed-delay.attempts: 3
  restart-strategy.fixed-delay.delay: 10 s
  • 第二种:应用代码设置
env.setRestartStrategy(RestartStrategies.fixedDelayRestart( 3, // 尝试重启的次数
  Time.of(10, TimeUnit.SECONDS) // 间隔    ));

2.2、失败率 (Failure rate)

  • 第一种:全局配置 flink-conf.yaml
restart-strategy: failure-rate
	restart-strategy.failure-rate.max-failures-per-interval: 3
	restart-strategy.failure-rate.failure-rate-interval: 5 min
	restart-strategy.failure-rate.delay: 10 s
  • 第二种:应用代码设置
env.setRestartStrategy(RestartStrategies.failureRateRestart( 3, // 一个时间段内的最大失败次数
  Time.of(5, TimeUnit.MINUTES), // 衡量失败次数的是时间段
  Time.of(10, TimeUnit.SECONDS) // 间隔
));

2.3、无重启 (No restart)

  • 第一种:全局配置 flink-conf.yaml
restart-strategy: none
  • 第二种:应用代码设置
env.setRestartStrategy(RestartStrategies.noRestart());

相关文章