我正在寻找移动一些mysql数据库到云在亚马逊红移。目前，我正在创建一个python脚本，将表转换为csv，对它们进行加密，将它们放入s3中，然后将数据复制到redshift中。但是，按照设置方式，我必须一次复制一个表的数据。我已经读到你可以把你的数据分割成多个文件并并行上传它们，但是我相信这仍然只是为了把数据加载到一个表中。有没有一种方法可以同时在多个表上使用copy？必须分别从每个表复制数据似乎效率很低。
我正在寻找移动一些mysql数据库到云在亚马逊红移。目前，我正在创建一个python脚本，将表转换为csv，对它们进行加密，将它们放入s3中，然后将数据复制到redshift中。但是，按照设置方式，我必须一次复制一个表的数据。我已经读到你可以把你的数据分割成多个文件并并行上传它们，但是我相信这仍然只是为了把数据加载到一个表中。有没有一种方法可以同时在多个表上使用copy？必须分别从每个表复制数据似乎效率很低。
1条答案
按热度按时间nwsw7zdq1#
你的陈述都是正确的。
这个
COPY命令可以并行地从多个文件加载（事实上，这是推荐的，因为它可以将加载作业分布在多个节点上），但它只在每个表上加载COPY命令。您可以通过多个会话连接到redshift，并在每个会话中运行copy命令以同时加载多个表（但要注意对生产用户的影响）。
如果您希望将数据从本地数据库迁移到amazon redshift，请考虑使用：
aws架构转换工具
aws数据库迁移服务
每当源数据库中的数据更新时，数据库迁移服务甚至可以执行红移的持续更新。