sqoop从红移导入

4xrmg8kj  于 2021-06-03  发布在  Sqoop
关注(0)|答案(2)|浏览(405)

正如标题所说,试图从 RedshiftS3 通过 Sqoop :

sqoop-import -Dmapreduce.job.user.classpath.first=true --connect "jdbc:redshift://redshiftinstance.us-east-1.redshift.amazonaws.com:9999/stuffprd;database=ourDB;user=username;password=password;" --table ourtable -m 1 --as-avrodatafile --target-dir s3n://bucket/folder/folder1/

所有驱动程序都在正确的文件夹中,但是引发的错误是:

ERROR tool.BaseSqoopTool: Got error creating database manager: java.io.IOException: No manager for connect string:
oprakyz7

oprakyz71#

我不能帮你纠正这个错误,但我建议你不要这样做。sqoop将尝试检索表作为 SELECT * 所有结果都必须通过leader节点。这将比使用 UNLOAD 将数据直接并行地导出到s3。然后可以使用sqoop将卸载的文本文件转换为avro。

zte4gxcn

zte4gxcn2#

不确定您是否已经得到了这个问题的答案,但是您需要将以下内容添加到sqoop命令中:
--driver com.amazon.redshift.jdbc42.Driver --connection-manager org.apache.sqoop.manager.GenericJdbcManager

相关问题