我想将表从PostgreSQL模式复制到Snowflake(包括数据)。最简单的方法是什么?我的PostgreSQL数据库位于AWS RDS中。
ogsagwnx1#
几个月前我经历了这件事,并将分享我学到的东西。
w46czmvw2#
请查看下面的社区文章,其中解释了迁移的步骤。https://community.snowflake.com/s/article/PostgreSQL-to-Snowflake-ETL-Steps-to-Migrate-Data这是Snowflake的一个合作伙伴提供的迁移数据的工具。
ghhkc1vu3#
我最近开源了一个小库,可以轻松地将Postgres表同步到Snowflake。它使用COPY从Postgres中高效地提取数据(作为CSV),然后PUT加上COPY/MERGE将数据加载到Snowflake中。https://github.com/scottpersinger/pgwarehouse
COPY
PUT
COPY/MERGE
3条答案
按热度按时间ogsagwnx1#
几个月前我经历了这件事,并将分享我学到的东西。
1.我从支持部门得到的建议是将表导出为csv文件,重新创建DDL,然后在S3中暂存csv文件。
1.有第三方工具可以帮助将Postgres数据库连接和同步到Snowflake。Stitch是我的小组研究的一个。
因此,您可以编写自己的集成或使用Stitch来连接两者。可能有一种更有效的方法来做到这一点,但如果您要移动一个大型数据库,恐怕没有一种简单的方法来做到这一点。也就是说,这并不是非常困难,但需要时间来移动所有内容。希望这能有所帮助!
w46czmvw2#
请查看下面的社区文章,其中解释了迁移的步骤。https://community.snowflake.com/s/article/PostgreSQL-to-Snowflake-ETL-Steps-to-Migrate-Data
这是Snowflake的一个合作伙伴提供的迁移数据的工具。
ghhkc1vu3#
我最近开源了一个小库,可以轻松地将Postgres表同步到Snowflake。它使用
COPY
从Postgres中高效地提取数据(作为CSV),然后PUT
加上COPY/MERGE
将数据加载到Snowflake中。https://github.com/scottpersinger/pgwarehouse