为什么我在dfs.data.dir指定的路径中看不到块文件?

7ivaypg9  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(334)

刚才我在hdfs中写了一个90m文件,执行下面的fsck命令。输出如下。

xuhang@master:~$ hadoop fsck /home/xuhang/hadoopinput/0501/baidu_hadoop.flv -files -blocks -locations

/home/xuhang/hadoopinput/0501/baidu\hadoop.flv 103737775字节,2个块。。。。。。。。。。。。。。。。。。。。。。。

0. blk_-7625024667897507616_12224 len=67108864 repl=2 [node1:50010, node2:50010]
1. blk_2225876293125688018_12224 len=36628911 repl=2 [node1:50010, node2:50010]

................. ................. fsck于2013年9月22日周日11:55:51 cst在25毫秒内结束
我在hdfs-site.xml中为两个datanode配置了相同的属性,如下所示。

<name>dfs.name.dir</name>
<value>/home/xuhang/hadoop-1.2.1/name1,/home/xuhang/hadoop-1.2.1/name2</value>

但我什么也没发现 /home/xuhang/hadoop-1.2.1/name1 以及 /home/xuhang/hadoop-1.2.1/name2 在两个数据节点中。为什么?我确信我已经成功地将90m文件写入hdfs,因为我可以从hadoop命令或java客户机读取它。

wqsoz72f

wqsoz72f1#

我看到那些块在主机node1和node2中。你一直在看node1和node2吗?请同时检查node1和node2中的hdfs-site.xml。很可能 dfs.data.dir 在这些节点中可能设置为不同的值。您应该在一个名为current的目录中找到blk文件,该目录位于 dfs.data.dir .

相关问题