我是hadoop的新手。我已经在单机中设置了hadoop-伪分布式模式。默认为my hdfs-site.xml配置:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/yarn_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/yarn_data/hdfs/datanode</value>
</property>
运行后:
hdfs namenode-格式
全部启动.sh
日本
我有一个namenode和一个datanode。
我想在这台机器上有多个datanode,并尝试按以下建议进行配置:stackoverflow和my config:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/yarn_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/yarn_data/hdfs/datanode-1</value>
<name>dfs.datanode.address</name>
<value>0.0.0.0:9870</value>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:9090</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/yarn_data/hdfs/datanode-2</value>
<name>dfs.datanode.address</name>
<value>0.0.0.0:9871</value>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:9091</value>
</property>
我得到零数据节点。任何帮助都将不胜感激。
1条答案
按热度按时间rkttyhzu1#
这个链接答案的关键部分是,您必须为每个datanode示例维护不同的配置
你不能放两个
<name>
以及<value>
节作为同一xml文件的一部分您需要有两个单独的配置文件,每个datanode一个。
然而,我不完全确定是否有可能有两个
HADOOP_CONF_DIR
唯一hadoop进程的变量。也许有办法hadoop --config /some/path datanode
,但是start-dfs
只是为了让数据节点远离你而隐藏起来也就是说,假设你有
export HADOOP_CONF_DIR=/etc/hadoop
以及ls $HADOOP_CONF_DIR/hdfs-site.xml
正在工作,则可以在自己的终端中尝试以下操作我建议只使用两个独立的虚拟机,因为这将更符合现实世界的场景