我正在尝试在现场示例上运行mapreduce作业。我使用starclusters及其hadoop插件启动示例。我没有问题上传数据，然后把它放到hdfs，然后复制结果从hdfs回来。我的问题是有没有办法直接从s3加载数据并将结果推回到s3(我不想手动将数据从s3下载到hdfs，并将结果从hdfs推送到s3，有没有办法在后台完成？我使用的是标准的mit星簇ami
dgiusagp1#
你不能这样做，但你可以写一个脚本来做到这一点。例如，您可以使用：hadoop distcp s3n：//id:key@mybucket/file /user/root/file将文件直接从s3放入hdfs
1条答案
按热度按时间dgiusagp1#
你不能这样做，但你可以写一个脚本来做到这一点。例如，您可以使用：hadoop distcp s3n：//id:key@mybucket/file /user/root/file将文件直接从s3放入hdfs