如何从运行hadoop集群中删除磁盘?

8ljdwjyq  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(393)

我安装了一个6节点hadoop集群,安装了hdp2.3。
节点组2驱动器一个为50 tb,另一个为2 tb,现在2 tb的磁盘已满。但是我想从所有节点中删除这个磁盘,并且只想对hadoop使用50tb磁盘。
问题
我可以安全地删除数据磁盘,而不会导致群集上的块丢失/损坏。
更新
mount命令的输出如下

/dev/sda6 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw)
/dev/sda3 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
/tmp on /tmp type none (rw,bind)
/var/tmp on /var/tmp type none (rw,bind)
/home on /home type none (rw,bind)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
/dev/sdc1 on /data1 type xfs (rw)
/dev/sdb1 on /data type xfs (rw)

属性dfs.datanode.data.dir的值是/data/hadoop/hdfs/data,/data1/hadoop/hdfs/data

1l5u6lss

1l5u6lss1#

不能使用2 tb驱动器,因为namenode元数据可能会损坏。namenode将等待来自该节点的块报告,如果没有报告块报告形式的数据块,它将接近离开safemode。
一种解决方法是,您可以将所有数据复制到50 tb驱动器并格式化namenode。您不能在数据敏感的情况下执行此操作。

相关问题