刚才我在hdfs中写了一个90m文件,执行下面的fsck命令。输出如下。
xuhang@master:~$ hadoop fsck /home/xuhang/hadoopinput/0501/baidu_hadoop.flv -files -blocks -locations
/home/xuhang/hadoopinput/0501/baidu\hadoop.flv 103737775字节,2个块。。。。。。。。。。。。。。。。。。。。。。。
0. blk_-7625024667897507616_12224 len=67108864 repl=2 [node1:50010, node2:50010]
1. blk_2225876293125688018_12224 len=36628911 repl=2 [node1:50010, node2:50010]
................. ................. fsck于2013年9月22日周日11:55:51 cst在25毫秒内结束
我在hdfs-site.xml中为两个datanode配置了相同的属性,如下所示。
<name>dfs.name.dir</name>
<value>/home/xuhang/hadoop-1.2.1/name1,/home/xuhang/hadoop-1.2.1/name2</value>
但我什么也没发现 /home/xuhang/hadoop-1.2.1/name1
以及 /home/xuhang/hadoop-1.2.1/name2
在两个数据节点中。为什么?我确信我已经成功地将90m文件写入hdfs,因为我可以从hadoop命令或java客户机读取它。
1条答案
按热度按时间wqsoz72f1#
我看到那些块在主机node1和node2中。你一直在看node1和node2吗?请同时检查node1和node2中的hdfs-site.xml。很可能
dfs.data.dir
在这些节点中可能设置为不同的值。您应该在一个名为current的目录中找到blk文件,该目录位于dfs.data.dir
.