hadoop mapreduce原子分裂

ef1yzkbh  于 2021-06-04  发布在  Hadoop
关注(0)|答案(0)|浏览(225)

我想解释一下我的问题:我想处理一组图像 in .jpg格式。假设图像的大小为1GB。我想在map reduce框架上这样做,以改进精化。 我的想法是将1GB的图像分成64MB的组(这样最多只能有16组图像)。因为它与hdfs块的大小相同,可以减少传输块的开销。 我不明白如何用原子的方式分割图像。我知道我应该实施FileInputFormat类和方法getSplit()` . 但我想帮你。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题