hadoop集群正在运行 amazon EMR 它处理一些数据并将输出写入 s3 . 现在，我想把数据导入 mssql . 有开源连接器吗？或者我必须手动下载数据，将默认分隔符“\001”更改为“，”，然后在中导入数据 mssql .
amazon EMR
s3
mssql
s8vozzvw1#
没有直接的方法。在map reduce中使用下面的config来写输出，作为分隔符job.getconfiguration（）.set（“mapreduce.textoutputformat.separator”，“，”）；最好的方法是将处理过的数据保存在s3中。您可以将csv转换为s3。编写一个php/java/shell从s3下载数据并将其加载到mssql。您可以使用s3download目录下载处理后的数据，然后使用bulkinsert将csv文件加载到mssql。
kokeuurv2#
您可以使用第三方etl工具自动将csv数据从s3加载到mssql，而无需编码。他们可以大大节省你在这项任务上的时间。像skyvia或者jitterbit这样的工具可以帮助你。
nqwrtyyt3#
对于这个用例，可以使用apachesqoop。apachesqoop支持从mssql导入和导出到mssql。下面的文章解释了如何在emr中安装sqoophttp://blog.kylemulka.com/2012/04/how-to-install-sqoop-on-amazon-elastic-map-reduce-emr/请参阅sqoop用户指南。http://sqoop.apache.org/docs/1.4.3/sqoopuserguide.html
3条答案
按热度按时间s8vozzvw1#
没有直接的方法。
在map reduce中使用下面的config来写输出，作为分隔符
job.getconfiguration（）.set（“mapreduce.textoutputformat.separator”，“，”）；
最好的方法是将处理过的数据保存在s3中。您可以将csv转换为s3。编写一个php/java/shell从s3下载数据并将其加载到mssql。
您可以使用s3download目录下载处理后的数据，然后使用bulkinsert将csv文件加载到mssql。
kokeuurv2#
您可以使用第三方etl工具自动将csv数据从s3加载到mssql，而无需编码。他们可以大大节省你在这项任务上的时间。像skyvia或者jitterbit这样的工具可以帮助你。
nqwrtyyt3#
对于这个用例，可以使用apachesqoop。
apachesqoop支持从mssql导入和导出到mssql。
下面的文章解释了如何在emr中安装sqoophttp://blog.kylemulka.com/2012/04/how-to-install-sqoop-on-amazon-elastic-map-reduce-emr/
请参阅sqoop用户指南。http://sqoop.apache.org/docs/1.4.3/sqoopuserguide.html