我试图将大型（1000万行）表导出到分号分隔的.csv文件。我目前正在使用Microsoft SQL Server Management Studio v17中的内置工具（导入/导出向导），导出大约需要5个小时。有没有一个简单的方法来加速这个过程？我的公司限制我只能使用R/Python解决方案，当然除了SQL Server本身。
.csv
jgovgodb1#
你的表在内存中的大小是多少？我有一个~2Giga表在几分钟内变成了csv。检查你的数据源连接，我使用OLEDB。
iswrvxsc2#
如果你已经使用了Python或任何相关的代码库，那么通过查询来完成这个任务几乎总是最好的解决方案。确保主键用于提取数据。使用代码，您可以在循环中组织查询并通过主键获取数据。您可以使用Python（在本例中）来构建本地支持表，以帮助循环和批量拉取数据。（并且能够以最快的方式使用它）。我也遇到了同样的问题，甚至调查了多个路径，包括BCP实用程序和存储过程。在这种情况下，我肯定会坚持使用Python。您将数据提取到文件中，然后访问这些文件，这会增加开销。您可以真实的管理数据。1000万行并不是一个大数字。
2条答案
按热度按时间jgovgodb1#
你的表在内存中的大小是多少？我有一个~2Giga表在几分钟内变成了csv。检查你的数据源连接，我使用OLEDB。
iswrvxsc2#
如果你已经使用了Python或任何相关的代码库，那么通过查询来完成这个任务几乎总是最好的解决方案。
确保主键用于提取数据。使用代码，您可以在循环中组织查询并通过主键获取数据。您可以使用Python（在本例中）来构建本地支持表，以帮助循环和批量拉取数据。（并且能够以最快的方式使用它）。我也遇到了同样的问题，甚至调查了多个路径，包括BCP实用程序和存储过程。在这种情况下，我肯定会坚持使用Python。您将数据提取到文件中，然后访问这些文件，这会增加开销。您可以真实的管理数据。1000万行并不是一个大数字。