我正在学习hadoop,目前正在尝试建立一个hadoop2.2.0单节点。我下载了最新的发行版,解压缩了它,现在我正在尝试设置hadoop分布式文件系统(hdfs)。
现在,我正试图按照这里提供的hadoop指令操作,但是我完全迷路了。
在左侧栏中,您可以看到对以下文件的引用:
core-default.xml
hdfs-default.xml
mapred-default.xml
yarn-default.xml文件
但这些文件怎么样?
我找到了/etc/hadoop/hdfs-site.xml,但它是空的!
我找到了/share/doc/hadoop/hadoop project dist/hadoop common/core-default.xml,但它只是文档的一部分!
那么,我需要修改哪些文件来配置hdfs呢?从何处读取数据结果值?
事先谢谢你的帮助。
4条答案
按热度按时间jgovgodb1#
所有配置文件都将位于etc/hadoop/目录中的解压缩tar.gz文件中。hdfs-site.xml可以是hdfs-site.xml.template。您需要将其重命名为hdfs-site.xml。
如果您想查看hdfs的选项,请检查share/doc/hadoop/hadoop project dist/hadoop hdfs/hdfs-default.xml中tarball中的文档
vwhgwdsa2#
hortonworks的位置是
zsbz8rwp3#
这些文件可以在这里看到/usr/lib/hadoop-2.2.0/etc/hadoop,在那里你可以找到所有的xml。
khbbv19g4#
这些文件都可以在hadoop/conf目录中找到。
要设置hdfs,必须配置core-site.xml和hdfs-site.xml。
hdfs有两种工作模式:分布式(多节点集群)和伪分布式(单机集群)。
对于伪分布式模式,您必须配置:
在core-site.xml中:
在hdfs-site.xml中:
每个属性都有其硬编码的默认值。
在启动hdfs之前,请记住为hadoop用户设置ssh无密码登录。
附笔
如果您从apache下载hadoop,可以考虑切换到hadoop发行版:
cloudera的cdh、hortonworks或mapr。
如果您安装cloudera-cdh或hortonworks-hdp,您将在/etc/hadoop/conf/中找到这些文件。