如何让amazonemr（0.20.205 mapr）使用s3 bucket进行输入和输出？
我尝试将以下内容添加到核心配置xml文件（通过引导操作）：
<property>
<name>fs.default.name</name>
<value>s3n://</value>
</property>
<property>
<name>dfs.name.default</name>
<value>s3n://</value>
</property>但我总是得到这样的结果：
原因：java.io.ioexception:无法解析路径：s3n://some\u out\u bucket/out at com.mapr.fs.maprfilesystem.lookupclient（maprfilesystem）。java:219)在com.mapr.fs.maprfilesystem.delete（maprfilesystem。java:385)在cc.mrlda.parsecorpus.run（parsecorpus。java:192)在org.apache.hadoop.util.toolrunner.run（toolrunner。java:65)在cc.mrlda.parsecorpus.main（parsecorpus。java:675) ... 10多个
hadoop新手。请帮帮我！
1条答案
按热度按时间tkqqtvp11#
除了上述问题中描述的配置步骤之外，我还修改了代码：
FileSystem fs = FileSystem.get(URI.create(outputPath), new JobConf(SomeClass.class));哪里outputPath指向s3上的资源，例如。s3n://some_bucket使用URI.create，我现在可以直接从s3访问文件。