我们已经使用官方的helm chart部署了airflow,我们正在使用KubernetesExecutor和git-sync。我已经使用https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/executor/kubernetes.html#pod-override中提到的executor_config参数使用自定义pod模板启动了一个worker pod。但是我无法覆盖默认的worker docker镜像。我需要如何设置helm values文件才能覆盖docker镜像?目前我的values文件中有这个
images:
airflow:
repository: <custom-docker-image>
tag: webserver
config:
kubernetes_executor:
worker_container_repository: ~
worker_container_tag: ~
字符串
pod模板是https://github.com/apache/airflow/blob/main/chart/files/pod-template-file.kubernetes-helm-yaml的精确复制粘贴,只有图像更改为custom-docker-image:test_template
。我的worker pod仍然使用默认的气流图像custom-docker-image:webserver
。如果我将kubernetes_executor
键设置为非空值,它将使用这些值,但我仍然无法覆盖这些值。
我知道如何覆盖默认pod模板的docker镜像,但我的想法是有多个pod模板,然后使用task
装饰器中的executor_config
从文件夹中选择一个pod模板。这样我基本上就有多个worker环境可供选择。
我也知道我可以用文档中提到的pod覆盖来做到这一点,我对如何使用模板来实现这一点很感兴趣。
1条答案
按热度按时间kmpatx3s1#
我真的不知道为什么,但是一旦我在下面指定了一个随机的docker镜像,它就开始工作了。
字符串