AWS MWAA(Managed Workflows for Apache Airflow)是AWS提供的相对较新的服务,在配置MWAA环境时,可以提供自定义的requirements.txt
文件,用于在该环境中安装额外的Python包。
在我工作的公司里,我们使用AWS CodeArtifact作为自定义PyPi包库,在那里我们上传私有Python包。我们想在Airflow DAG中使用其中的一些。这就是为什么我想知道MWAA环境是否可以配置为使用CodeArtifact的PyPi库?
或者有没有办法在MWAA环境中安装自定义Python包(不在公共PyPi中)?
1条答案
按热度按时间kq4fsx7k1#
未尝试,但应该有效:
可用作正常需求文件:
请注意,CodeArtifact令牌最多将在12小时后过期。您可以创建一个定期作业来重新生成此文件...