hadoop—在amazon elastic mapreduce中运行自定义jar时如何访问s3n中的文件

svgewumm 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(257)

我正在emr集群中运行以下步骤：
./elastic mapreduce-j clusterid-jar s3n://mybucket/somejar

--main-class  SomeClass 
                --arg -conf --arg 's3n://mybucket/configuration.xml'

someclass是hadoop作业，实现可运行接口。它读取configuration.xml作为参数，但是在上面的命令中someclass不能访问“s3n://mybucket/configuration.xml”（没有错误报告）。我尝试了“s3://mybucket/configuration.xml”，但也不起作用。我确信这个文件存在，因为我可以通过“hadoopfs-lss3n://mybucket/configuration.xml”看到它。对这个问题有什么建议吗？
谢谢，

hadoop amazon-s3 amazon-ec2

来源：https://stackoverflow.com/questions/19526487/how-to-access-file-in-s3n-when-running-a-customized-jar-in-amazon-elastic-mapred

1条答案

按热度按时间

eit6fx6z1#

以下是可以尝试的选项
使用s3而不是s3n。
检查s3 bucket的访问权限。
您可以指定日志位置，并在作业失败后检查日志
elastic mapreduce--create--name“j\u flow\u name”--log uri“s3://your\u s3\u bucket”
它提供了更多的调试信息。
三。

./elastic-mapreduce -j JobFlowId -jar s3://your_bucket --arg "s3://your_conf_file_bucket_name" --arg "second parameter"

有关更多详细信息，请参阅emr cli

赞(0）回复(0）举报 2021-06-03

我来回答

hadoop—在amazon elastic mapreduce中运行自定义jar时如何访问s3n中的文件

1条答案

相关问题

热门标签

最新问答