我正在使用单节点集群的默认配置运行Hadoop,并希望找到HDFS在本地存储文件的位置。有什么想法吗谢谢
djmepvbi1#
您需要在hdfs-default.xml配置文件中查找dfs.data.dir设置。默认设置为:${hadoop.tmp.dir}/dfs/data注意${hadoop.tmp.dir}实际上是在core-default.xml中描述的here。配置选项描述为here。此设置的说明为:确定DFS数据节点在本地文件系统上应存储其块的位置。如果这是一个逗号分隔的目录列表,则数据将存储在所有命名目录中,通常存储在不同的设备上。不存在的目录将被忽略。
ffvjumwh2#
当前版本(2.7.1)的目录似乎是
/tmp/hadoop-${user.name}/dfs/data
基于dfs.datanode.data.dir、hadoop.tmp.dir设置,来自:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhttp://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml
dfs.datanode.data.dir
hadoop.tmp.dir
qco9c6ql3#
作为“最新的答案”并澄清Hadoop版本号:如果你使用Hadoop 1.2.1(或类似的东西),@Binary Nerd的答案仍然是正确的。但是如果你使用Hadoop 2.1.0-beta(或类似的东西),你应该阅读配置文档here,你想要设置的选项是:dfs.datanode.data.dir
trnvg8h34#
对于hadoop3.0.0,hdfs根路径由属性"dfs.datanode.data.dir"给出
"dfs.datanode.data.dir"
vfhzx4xs5#
首先在/usr/lib中找到Hadoop目录。在这里你可以找到etc/hadoop目录,所有的配置文件都在这里。在该目录中,您可以找到hdfs-site.xml文件,其中包含有关HDFS的所有详细信息。在那里你找到2属性:dir -告诉命名节点在本地文件系统中存储元数据的位置。dfs.datanode.data.dir -告诉datanode在本地文件系统上存储数据的位置
7nbnzgx96#
在cmd提示符下运行此命令,您将获得HDFS位置:
cmd
bin/hadoop fs -ls /
6条答案
按热度按时间djmepvbi1#
您需要在hdfs-default.xml配置文件中查找dfs.data.dir设置。默认设置为:${hadoop.tmp.dir}/dfs/data注意${hadoop.tmp.dir}实际上是在core-default.xml中描述的here。
配置选项描述为here。此设置的说明为:
确定DFS数据节点在本地文件系统上应存储其块的位置。如果这是一个逗号分隔的目录列表,则数据将存储在所有命名目录中,通常存储在不同的设备上。不存在的目录将被忽略。
ffvjumwh2#
当前版本(2.7.1)的目录似乎是
基于
dfs.datanode.data.dir
、hadoop.tmp.dir
设置,来自:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhttp://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xmlqco9c6ql3#
作为“最新的答案”并澄清Hadoop版本号:
如果你使用Hadoop 1.2.1(或类似的东西),@Binary Nerd的答案仍然是正确的。
但是如果你使用Hadoop 2.1.0-beta(或类似的东西),你应该阅读配置文档here,你想要设置的选项是:
dfs.datanode.data.dir
trnvg8h34#
对于hadoop3.0.0,hdfs根路径由属性
"dfs.datanode.data.dir"
给出vfhzx4xs5#
首先在/usr/lib中找到Hadoop目录。在这里你可以找到etc/hadoop目录,所有的配置文件都在这里。
在该目录中,您可以找到hdfs-site.xml文件,其中包含有关HDFS的所有详细信息。在那里你找到2属性:
dir -告诉命名节点在本地文件系统中存储元数据的位置。
dfs.datanode.data.dir -告诉datanode在本地文件系统上存储数据的位置
7nbnzgx96#
在
cmd
提示符下运行此命令,您将获得HDFS位置: