docker 是否有任何气流配置可以使./dags文件夹中的新DAGS更快地显示在UI中？

tzdcorbm 于 2022-12-03 发布在 Docker

关注(0)|答案(2)|浏览(99)

我正在尝试通过运行官方的airflow docker compose image来学习一点Airflow [根据此处的说明：https://airflow.apache.org/docs/apache-airflow/2.0.1/start/docker.html]。我能够启动所有服务，这样，当我将测试DAG放到./dags文件夹中时，我最终在UI中看到了DAG并可以运行它。
但这花了几分钟。而且每次我“部署”一个新的dag到./dags时都要花几分钟。
我想知道是否有一些配置选项，将导致扫描./dags文件夹发生更快，所以我不必等待太多.提前感谢！

docker

来源：https://stackoverflow.com/questions/74624135/any-airflow-configuration-that-will-make-new-dags-dropped-in-dags-folder-show

2条答案

按热度按时间

6yjfywim1#

在airflow.cfg文件中，您可能需要更改此设置，默认值为5分钟。

dag_dir_list_interval = 300

更改值后，只需重新启动Web服务器、调度程序、触发器、worker docker容器，即无需删除它们或关闭docker-compose。

docker restart your_airflow_webserver_container_id

赞(0）回复(0）举报 2022-12-03

carvr3hs2#

据我所知，有几个原因缓慢的DAG的加载。
1.如果您有大量（数千个）DAG（动态DAG速度较慢，具体取决于生成方式）。

DAG太复杂-请参见降低DAG复杂性。
1.您可以测试代码速度- DAG Loader Test

赞(0）回复(0）举报 2022-12-03

我来回答

docker 是否有任何气流配置可以使./dags文件夹中的新DAGS更快地显示在UI中？

2条答案

相关问题

热门标签

最新问答