是否可以将hadoop块大小设置为24 mb?

yacmzcpb  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(486)

我只想问你对hdfs块大小的看法。所以我设置hdfs块大小为24mb,它可以正常运行。我记得24MB不是计算机上通常大小的指数(2的乘法)。所以我想问你们,你们对24MB有什么看法?
谢谢大家。。。。

kzmpq1sx

kzmpq1sx1#

对。可以将hdfs块大小设置为24 mb。hadoop软件 1.x.x 默认值为64 mb,默认值为 2.x.x 是128 mb。
在我看来,增加块大小。因为,块大小越大,在减速器阶段使用的时间就越少。事情会加速的。但是,如果减小块大小,则在每个Map阶段花费的时间会减少,但在reduce阶段可能会使用更多的时间。从而增加了总的时间。
从本地文件系统传输到hdfs时,可以使用以下命令更改块大小:

hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>

通过将hdfs-site.xml更改为以下内容,可以永久更改块大小:

<property> 
<name>dfs.block.size<name> 
<value>134217728<value> 
<description>Block size<description> 
<property>
ar5n3qh5

ar5n3qh52#

是的,可以在hadoop环境中设置块大小。只需转到/usr/local/hadoop/conf/hdfs-site.xml,然后更改块大小值:http://commandstech.com/blocksize-in-hadoop/

相关问题