sqoop+s3+parquet导致错误的fs错误

wecizke3 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(446)

尝试使用sqoop将数据以Parquet格式导入s3时，如下所示：

bin/sqoop import --connect 'jdbc:[conn_string]' --table [table] --target-dir s3a://bucket-name/ --hive-drop-import-delims --as-parquetfile

... 我得到以下错误：

ERROR tool.ImportTool: Imported Failed: Wrong FS: s3a://bucket-name/, expected: hdfs://localhost:9000

我没有问题导入非Parquet数据或与s3a直接通过hdfs工作。似乎是这个问题，但它应该是固定的许多版本前。

2条答案

如果使用s3作为目标目录，sqoop不支持导入到parquet文件。

Parquet格式的sqoop导入目前不支持s3作为目标目录，您可以使用的解决方法是将数据导入hdfs，然后使用distcp将数据从hdfs复制到s3