如何重写apache flink中的配置值?

5us2dqdw  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(475)

我正试图从Apache·Flink那里收集到普罗米修斯的数据。flink文档说我需要在我的flink-conf.yaml中添加以下行:

metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: localhost
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: myJob

我想在普罗米修斯体内用不同的名字标记不同的工作。如何覆盖每个作业的配置参数metrics.reporter.promgateway.jobname(每个作业都在其自己的flink群集会话中运行)?
有几个问题:
我无法覆盖flink-conf.yaml。我只找到了flink\u conf\u dir参数来覆盖整个配置目录。但是,它看起来不像是一个正确的解决方案来覆盖每个作业的配置目录。
我无法覆盖streamexecutionenvironment的初始配置,因为它是在streamexecutionenvironment.getexecutionenvironment方法内部构造的,并且在环境初始化后无法修改。

lnxxn5zx

lnxxn5zx1#

启动flink作业群集时,可以通过指定动态属性来修改有效配置。假设您要部署到Yarn,则命令如下所示:

bin/flink run -m yarn-cluster -yD metrics.reporter.promgateway.jobName=myCustomJob <USER_CODE_JAR>

动态属性被发送到Yarn簇并覆盖现有的配置键值对。

相关问题