我只想问你对hdfs块大小的看法。所以我设置hdfs块大小为24mb,它可以正常运行。我记得24MB不是计算机上通常大小的指数(2的乘法)。所以我想问你们,你们对24MB有什么看法?谢谢大家。。。。
kzmpq1sx1#
对。可以将hdfs块大小设置为24 mb。hadoop软件 1.x.x 默认值为64 mb,默认值为 2.x.x 是128 mb。在我看来,增加块大小。因为,块大小越大,在减速器阶段使用的时间就越少。事情会加速的。但是,如果减小块大小,则在每个Map阶段花费的时间会减少,但在reduce阶段可能会使用更多的时间。从而增加了总的时间。从本地文件系统传输到hdfs时,可以使用以下命令更改块大小:
1.x.x
2.x.x
hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>
通过将hdfs-site.xml更改为以下内容,可以永久更改块大小:
<property> <name>dfs.block.size<name> <value>134217728<value> <description>Block size<description> <property>
ar5n3qh52#
是的,可以在hadoop环境中设置块大小。只需转到/usr/local/hadoop/conf/hdfs-site.xml,然后更改块大小值:http://commandstech.com/blocksize-in-hadoop/
2条答案
按热度按时间kzmpq1sx1#
对。可以将hdfs块大小设置为24 mb。hadoop软件
1.x.x
默认值为64 mb,默认值为2.x.x
是128 mb。在我看来,增加块大小。因为,块大小越大,在减速器阶段使用的时间就越少。事情会加速的。但是,如果减小块大小,则在每个Map阶段花费的时间会减少,但在reduce阶段可能会使用更多的时间。从而增加了总的时间。
从本地文件系统传输到hdfs时,可以使用以下命令更改块大小:
通过将hdfs-site.xml更改为以下内容,可以永久更改块大小:
ar5n3qh52#
是的,可以在hadoop环境中设置块大小。只需转到/usr/local/hadoop/conf/hdfs-site.xml,然后更改块大小值:http://commandstech.com/blocksize-in-hadoop/