将我的DAG的代码放到运行在kubernetes上的airflow示例上的最简单/最好的方法是什么(通过helm设置)?
我在airflow-airflow-config
ConfigMap中看到定义了dags_folder = /opt/airflow/dags
。但与本地环境不同的是,它不会接收我添加到文件夹中的DAG(通过kubectl cp
)。
而且,在生产环境中,我显然不想依赖于脚本的手动同步。我假设DAG应该存储在某种类型的DB或持久卷中(?)
将我的DAG的代码放到运行在kubernetes上的airflow示例上的最简单/最好的方法是什么(通过helm设置)?
我在airflow-airflow-config
ConfigMap中看到定义了dags_folder = /opt/airflow/dags
。但与本地环境不同的是,它不会接收我添加到文件夹中的DAG(通过kubectl cp
)。
而且,在生产环境中,我显然不想依赖于脚本的手动同步。我假设DAG应该存储在某种类型的DB或持久卷中(?)
1条答案
按热度按时间hzbexzde1#
使用helm kubernetes部署时,有不同的选项可以将DAG部署到气流,例如将它们部署为容器映像或使用Git-Sync sidecar。查看完整文档在这里:https://airflow.apache.org/docs/helm-chart/stable/manage-dags-files.html