在Docker本地运行airflow,“Import error,module not found”

64jmpszr  于 2023-04-20  发布在  Docker
关注(0)|答案(1)|浏览(215)

我尝试在本地测试DAG,并在Docker中设置Airflow。
当我在localhost上使用web登录时,我可以看到所有示例dag,但是我试图测试的一个dag出现在顶部,并显示以下错误:

Broken DAG: Traceback
....
from airflow.providers.snowflake.transfers.s3_to_snowflake import S3ToSnowflakeOperator
ModuleNotFoundError: No module named 'airflow.providers.snowflake'

我已经在本地安装了气流

pip3 install airflow

我在docker上本地运行airflow时看不到这个模块,是不是有什么原因?我的import语句如下(只有snowflake one出错)

from airflow.models import DAG
from airflow.operators.python import PythonOperator
from airflow.providers.snowflake.transfers.s3_to_snowflake import S3ToSnowflakeOperator

https://airflow.apache.org/docs/apache-airflow-providers-snowflake/stable/_api/airflow/providers/snowflake/transfers/s3_to_snowflake/index.html

p3rjfoxz

p3rjfoxz1#

我相信问题是你安装了一个旧版本的Airflow,而没有你所寻找的提供商。
“我正在尝试在本地测试DAG,并在Docker中本地设置Airflow。
这对我来说意味着你正在尝试重新创建你的托管Airflow示例用于测试目的.确保安装任何版本的Airflow你试图重新创建.我也会建议这个airflow in docker setup guide.有维护的图像,可能适合您的目的/使其更容易.

相关问题