计算map-reduce算法并行效率的公式是什么?

to94eoyn  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(287)

有没有公式可以告诉我们map-reduce算法的并行效率(换句话说,我如何从数学上证明mr算法a优于mr算法b)
我在google上搜索了一下,但我在wiki上找到了并行算法的加速和效率的定义,但如果有人能展示一下这些公式是如何应用于mr算法的,那就太好了

ngynwnxp

ngynwnxp1#

看一下维基 Bulk Synchronous Parallel 简言之 BSP .
rob bisselings的论文中还包含了另一个复杂度计算
并行科学计算:一种使用bsp和mpi的结构化方法 BSP 是抽象到 MapReduce 并在链接底部包含复杂性/成本分析公式。
所以你需要做的是,转换你的 MapReduce 算法到 BSP 版本。例如,屏障同步是 Map 以及 Reduce 阶段或新的 MapReduce 工作。消息(通信)是您向文件系统发出的信息 Map 以及 Reduce 功能。

相关问题