我有一个输入文件的大小 136MB 我发射了一些 WordCount 测试,我只监视一个Map器。然后我开始 dfs.blocksize 至 64MB 在我的 hdfs-site.xml 我还有一个Map绘制者。我做错了吗?
136MB
WordCount
dfs.blocksize
64MB
hdfs-site.xml
y53ybaqx1#
dfs.block.size 它并不是唯一一个扮演角色的,建议不要改变,因为它在全球范围内适用于hdfs。mapreduce中的拆分大小由以下公式计算
dfs.block.size
max(mapred.min.split.size, min(mapred.max.split.size, dfs.block.size))
所以您可以在driver类中将这些属性设置为
conf.setLong("mapred.max.split.size", maxSplitSize); conf.setLong("mapred.min.split.size", minSplitSize);
或在配置文件中作为
<property> <name>mapred.max.split.size</name> <value>134217728</value> </property> <property> <name>mapred.min.split.size</name> <value>134217728</value> </property>
1条答案
按热度按时间y53ybaqx1#
dfs.block.size
它并不是唯一一个扮演角色的,建议不要改变,因为它在全球范围内适用于hdfs。mapreduce中的拆分大小由以下公式计算
所以您可以在driver类中将这些属性设置为
或在配置文件中作为