postgresql 连接到postgres时,MWAA气流作业出现SCRAM错误

kxxlusnw  于 2023-01-25  发布在  PostgreSQL
关注(0)|答案(1)|浏览(148)

我尝试从一个MWAA示例的airflow查询postgres,我不确定是否有冲突,因为airflow本身的元数据有不同版本的postgres,但是当我连接到postgres时,我得到这个错误:

File "/usr/local/airflow/dags/transactions/transactions.py", line 62, in load_ss_exposures_to_s3
    ss_conn = psycopg2.connect(
  File "/usr/local/airflow/.local/lib/python3.10/site-packages/psycopg2/__init__.py", line 122, in connect
    conn = _connect(dsn, connection_factory=connection_factory, **kwasync)
psycopg2.OperationalError: SCRAM authentication requires libpq version 10 or above

我在本地有psycopg2版本2.9.5和libpq版本140005。MWAA使用的是psycopg2 2.9.5和libpq 90224。我有办法强制MWAA使用另一个版本吗?也许通过airflow插件?Airflow版本是2.4.3。

0pizxfdo

0pizxfdo1#

要在AWS MWAA中更新libs版本,您可以向S3添加一个需求文件,然后通过选择该文件并更新环境(doc)来配置MWAA以安装它。
对于您的问题,您可以尝试安装与localhost中相同的版本,但如果您在MWAA(arm64)中使用gravion VM,则可能会出现另一个问题,例如安装与arm64不兼容的psycopg2-binary,在这种情况下,您需要安装psycopg2

pip install psycopg2

相关问题