HDFS默认在本地存储文件的位置?

hts6caw3  于 2023-05-05  发布在  HDFS
关注(0)|答案(6)|浏览(426)

我正在使用单节点集群的默认配置运行Hadoop,并希望找到HDFS在本地存储文件的位置。
有什么想法吗
谢谢

djmepvbi

djmepvbi1#

您需要在hdfs-default.xml配置文件中查找dfs.data.dir设置。默认设置为:${hadoop.tmp.dir}/dfs/data注意${hadoop.tmp.dir}实际上是在core-default.xml中描述的here
配置选项描述为here。此设置的说明为:
确定DFS数据节点在本地文件系统上应存储其块的位置。如果这是一个逗号分隔的目录列表,则数据将存储在所有命名目录中,通常存储在不同的设备上。不存在的目录将被忽略。

ffvjumwh

ffvjumwh2#

当前版本(2.7.1)的目录似乎是

/tmp/hadoop-${user.name}/dfs/data

基于dfs.datanode.data.dirhadoop.tmp.dir设置,来自:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhttp://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml

qco9c6ql

qco9c6ql3#

作为“最新的答案”并澄清Hadoop版本号:
如果你使用Hadoop 1.2.1(或类似的东西),@Binary Nerd的答案仍然是正确的。
但是如果你使用Hadoop 2.1.0-beta(或类似的东西),你应该阅读配置文档here,你想要设置的选项是:dfs.datanode.data.dir

trnvg8h3

trnvg8h34#

对于hadoop3.0.0,hdfs根路径由属性"dfs.datanode.data.dir"给出

vfhzx4xs

vfhzx4xs5#

首先在/usr/lib中找到Hadoop目录。在这里你可以找到etc/hadoop目录,所有的配置文件都在这里。
在该目录中,您可以找到hdfs-site.xml文件,其中包含有关HDFS的所有详细信息。在那里你找到2属性:
dir -告诉命名节点在本地文件系统中存储元数据的位置。
dfs.datanode.data.dir -告诉datanode在本地文件系统上存储数据的位置

7nbnzgx9

7nbnzgx96#

cmd提示符下运行此命令,您将获得HDFS位置:

bin/hadoop fs -ls /

相关问题