在加载到redshift时,我使用sqoopdfs将数据从hdfs加载到s3,然后使用copy命令将数据加载到redshift。
##
sqoop import -Dfs.s3.awsAccessKeyId= +awsAccessKeyId+ -Dfs.s3.awsSecretAccessKey= +awsSecretAccessKey+ -Dfs.s3.endpoint= +endpoint+ --connect + jdbc_url + --username= + user_id + --password= + decrypt_pwd + --target-dir + s3_path +
如何将数据从红移恢复到hdfs?
1条答案
按热度按时间eaf3rand1#
将数据从红移卸载到s3。
使用sqoop/distcp将数据从s3复制到hdfs。