我有一个4g文件,大约有16条生产线,Map正在运行,15张Map中有6张是并行分布的。生成35000个密钥。我使用multipletextoutput,这样每个减速机生成一个独立于其他减速机的输出。我已经用25-50个减速机配置了conf,但是它总是一次运行一个减速机。机器-4核32 g ram单机运行hortonworks堆栈如何让多个reduce任务并行运行?
fcipmucu1#
通过指定2GB的精简内存,Map后的站点xml中的默认值是6gb,框架将并行显示3个精简内存,而不是1个。
nqwrtyyt2#
看看hadoopmapreduce教程减少多少?正确的reduces数似乎是0.95或1.75乘以(*)。使用0.95时,所有reduces都可以立即启动,并在Map完成时开始传输Map输出。使用1.75,速度更快的节点将完成第一轮reduce并启动第二轮reduce,从而更好地完成负载平衡。看看相关的se问题:hadoop如何决定有多少节点将执行map和reduce任务hadoop上理想的减缩器数量是多少?
2条答案
按热度按时间fcipmucu1#
通过指定2GB的精简内存,Map后的站点xml中的默认值是6gb,框架将并行显示3个精简内存,而不是1个。
nqwrtyyt2#
看看hadoopmapreduce教程
减少多少?
正确的reduces数似乎是0.95或1.75乘以(*)。
使用0.95时,所有reduces都可以立即启动,并在Map完成时开始传输Map输出。使用1.75,速度更快的节点将完成第一轮reduce并启动第二轮reduce,从而更好地完成负载平衡。
看看相关的se问题:
hadoop如何决定有多少节点将执行map和reduce任务
hadoop上理想的减缩器数量是多少?