hdfs文件位置/副本放置提示

46qrfjad  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(333)

有没有什么方法可以告诉hdfs在创建特定文件的过程中我想在哪里获取文件副本?好吧,我明白这可能只是一个暗示,在任何情况下都不能保证。谢谢您。
为什么我需要这个?我有mapreduce作业(实际上是它们的链),由于我可以控制输入拆分的位置,所以我希望以前的作业Reducer能够说明下一个作业Map器“最可能”的位置。这是解决我问题的另一种方法。你知道吗?

inb24sb2

inb24sb21#

这应该是可能的。它允许您编写java代码,指定hdfs应该如何分配文件块的副本。
hth公司

相关问题