kubernetes Airflow -使用多个pod模板

8yparm6h  于 2023-11-17  发布在  Kubernetes
关注(0)|答案(1)|浏览(191)

我们已经使用官方的helm chart部署了airflow,我们正在使用KubernetesExecutor和git-sync。我已经使用https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/executor/kubernetes.html#pod-override中提到的executor_config参数使用自定义pod模板启动了一个worker pod。但是我无法覆盖默认的worker docker镜像。我需要如何设置helm values文件才能覆盖docker镜像?目前我的values文件中有这个

images:
   airflow:
     repository: <custom-docker-image>
     tag: webserver
 
 config:
   kubernetes_executor:
     worker_container_repository: ~
     worker_container_tag: ~

字符串
pod模板是https://github.com/apache/airflow/blob/main/chart/files/pod-template-file.kubernetes-helm-yaml的精确复制粘贴,只有图像更改为custom-docker-image:test_template。我的worker pod仍然使用默认的气流图像custom-docker-image:webserver。如果我将kubernetes_executor键设置为非空值,它将使用这些值,但我仍然无法覆盖这些值。
我知道如何覆盖默认pod模板的docker镜像,但我的想法是有多个pod模板,然后使用task装饰器中的executor_config从文件夹中选择一个pod模板。这样我基本上就有多个worker环境可供选择。
我也知道我可以用文档中提到的pod覆盖来做到这一点,我对如何使用模板来实现这一点很感兴趣。

kmpatx3s

kmpatx3s1#

我真的不知道为什么,但是一旦我在下面指定了一个随机的docker镜像,它就开始工作了。

images:
  pod_template:
    repository: MY_CUSTOM_DOCKER_IMAGE
    tag: latest

字符串

相关问题