当我试图将aws s3 bucket复制到hdfs时,我得到了一个错误:权限被拒绝:“/user”下面是我的剧本
aws s3 sync s3://folder1.folder2/file.json /user/hive/warehouse/my.db/json_table
请帮帮我!
pkbketx91#
s3级 sync 无法识别 HDFS 路径。不管用哪种方法, hadoop distcp 在配置了所有与s3相关的属性之后。 S3DistCp ,这需要 s3distcp.jar .如果文件很小, sync 将文件保存到localpath和 copyFromLocal 到hdfs。
sync
HDFS
hadoop distcp
S3DistCp
s3distcp.jar
copyFromLocal
1条答案
按热度按时间pkbketx91#
s3级
sync
无法识别HDFS
路径。不管用哪种方法,
hadoop distcp
在配置了所有与s3相关的属性之后。S3DistCp
,这需要s3distcp.jar
.如果文件很小,
sync
将文件保存到localpath和copyFromLocal
到hdfs。