map-reduce模拟器

yruzcnhs  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(190)

我想在mapper&reducer阶段实现map-reduce模拟而不做任何处理,这意味着我只想做数据移动。从磁盘获取文件(即输入)根据分割大小(总输入大小/分割大小)分割文件。基于这个分裂,我创建了并发运行的Map线程,每个文件都有一个分割的文件。现在对于洗牌阶段,我只需要增加文件的数量,这样它就可以像在实际执行中那样产生很少的流量。然后在reduce阶段,根据0.95(*mapred.tasktracker.reduce.tasks.maximum)的系数收集文件。除此之外,我还需要捕获每个相位的带宽。
有谁能告诉我如何用java来实现它,哪种方法是最好的。

  • 我不想使用hadoop,所以我想开发一个简单的程序来完成这一切。

请帮我解决这个问题。提前感谢您的精彩想法和评论。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题