我尝试从一个MWAA示例的airflow查询postgres,我不确定是否有冲突,因为airflow本身的元数据有不同版本的postgres,但是当我连接到postgres时,我得到这个错误:
File "/usr/local/airflow/dags/transactions/transactions.py", line 62, in load_ss_exposures_to_s3
ss_conn = psycopg2.connect(
File "/usr/local/airflow/.local/lib/python3.10/site-packages/psycopg2/__init__.py", line 122, in connect
conn = _connect(dsn, connection_factory=connection_factory, **kwasync)
psycopg2.OperationalError: SCRAM authentication requires libpq version 10 or above
我在本地有psycopg2版本2.9.5和libpq版本140005。MWAA使用的是psycopg2 2.9.5和libpq 90224。我有办法强制MWAA使用另一个版本吗?也许通过airflow插件?Airflow版本是2.4.3。
1条答案
按热度按时间0pizxfdo1#
要在AWS MWAA中更新libs版本,您可以向S3添加一个需求文件,然后通过选择该文件并更新环境(doc)来配置MWAA以安装它。
对于您的问题,您可以尝试安装与localhost中相同的版本,但如果您在MWAA(arm64)中使用gravion VM,则可能会出现另一个问题,例如安装与arm64不兼容的
psycopg2-binary
,在这种情况下,您需要安装psycopg2
: