我们可以参考s3 bucket的输入路径来运行mr作业吗?

wljmcqd8  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(339)

我想让我的Map器和reducer从s3 bucket读取输入文件,并将结果存储在emr集群中。
最好的方法是什么?

u2nhd7ah

u2nhd7ah1#

你只要付出 s3://bucket/key 输入和输出的语法
hadoop读/写s3不需要emr
但如果您这样做了,您应该使用emrfs和一致性视图来加快s3的读取速度

相关问题