linux和hadoop：挂载磁盘和增加集群容量

jw5wzhpr 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(487)

**结束。**此问题不符合堆栈溢出准则。它目前不接受答案。
**想改进这个问题吗？**更新问题，使其成为堆栈溢出的主题。

四年前关门了。
改进这个问题
首先，我在hadoop和linux上是个彻头彻尾的noob，我有一个由五个节点组成的集群，启动时显示每个节点的容量只有46.6gb，而每台机器有大约500gb的空间，我不知道如何分配给这些节点。
（1）我是否必须更改datanode和namenode文件的大小（我选中了它们，它显示了与datanode信息选项卡中相同的剩余空间）？如果是的话，我该怎么做呢。
（2）此外，这个500gb磁盘仅在执行$lsblk命令时显示，而在执行$df-h命令时不显示。这是不是意味着它没有挂载？这些是命令的结果。有人能解释一下这是什么意思吗。。

[hadoop@hdp1 hadoop]$ sudo lsblk
NAME                        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0                          11:0    1 1024M  0 rom  
sda                           8:0    0   50G  0 disk 
\u251c\u2500sda1                        8:1    0  500M  0 part /boot
\u2514\u2500sda2                        8:2    0 49.5G  0 part 
  \u251c\u2500VolGroup-lv_root (dm-0) 253:0    0 47.6G  0 lvm  /
  \u2514\u2500VolGroup-lv_swap (dm-1) 253:1    0    2G  0 lvm  [SWAP]
sdb                           8:16   0  512G  0 disk 

[hadoop@hdp1 hadoop]$ sudo df -H
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
                       51G  6.7G   41G  15% /
tmpfs                  17G   14M   17G   1% /dev/shm
/dev/sda1             500M  163M  311M  35% /boot

请帮忙。提前谢谢。首先，有人能帮我理解为什么它显示不同的内存磁盘，它的意思是什么，它驻留在哪里？！我好像想不通

hadoop linux

来源：https://stackoverflow.com/questions/35170537/linux-and-hadoop-mounting-a-disk-and-increasing-the-cluster-capacity

1条答案

按热度按时间

fnx2tebb1#

你是对的。您的第二个磁盘（sdb）未装入任何位置。如果您打算将整个磁盘专用于hadoop数据，下面是您应该如何格式化和装载它：
格式化磁盘：

mkfs.ext4 -m1 -O dir_index,extent,sparse_super /dev/sdb

对于挂载，编辑文件/etc/fstab。添加此行：

/dev/sdb    /hadoop/disk0   ext4    noatime 1 2

之后，创建目录/hadoop/disk0（它不必这样命名）。您可以使用自己选择的目录）。

mkdir -p /hadoop/disk0

现在您可以装载磁盘了：

mount -a

最后，您应该让hadoop知道您想要使用这个磁盘作为hadoop存储。您的/etc/hadoop/conf/hdfs-site.xml应该包含这些配置参数

<property><name>dfs.name.dir</name><value>/hadoop/disk0/nn</value></property>
<property><name>dfs.data.dir</name><value>/hadoop/disk0/dn</value></property>

赞(0）回复(0）举报 2021-05-29

我来回答

linux和hadoop：挂载磁盘和增加集群容量

1条答案

相关问题

热门标签

最新问答