如何使用sqoop命令在多个环境中保存数据

92dk7w1h  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(345)

我需要同时在hdfs和awss3中保存数据。我使用了下面的命令,但只有第一个给定的路径是工作的。

sqoop import -D mapreduce.job.name=XXX-D mapred.job.queue.name=XX -Dhadoop.security.credential.provider.path=<path> -Dfs.s3a.server-side-encryption-algorithm=####--options-file <path> --query "select cols from DB.Table where UPDATETIME between to_date('2015-09-11 00:00:00','yyyy/mm/dd hh24:mi:ss') and to_date('2018-05-24 04:28:16','yyyy/mm/dd hh24:mi:ss') and \$CONDITIONS" --hive-delims-replacement ' ' --direct --m 1 --split-by ID --target-dir <S3 path> --target-dir <hdfs path>
4sup72z8

4sup72z81#

sqoop不支持多个目标。您可以尝试两步方法:
sqoop导入自 DBHDFSHDFSAmazon S3

相关问题