如何在hadoop中添加硬盘

w8rqjzmb  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(697)

我在ubuntu14.04上安装了hadoop2.4,现在我正在尝试向现有集群添加一个内部satahd。
我在/mnt/hadoop中安装了新的hd,并将其所有权分配给hadoop用户
然后我尝试将其添加到配置文件中,如下所示:

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>2</value>
   </property>

   <property>
       <name>dfs.name.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
   </property>

   <property>
       <name>dfs.data.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/datanode, file:///mnt/hadoop/hadoopdata/hdfs/datanode</value>
   </property>
</configuration>

之后,我启动了hdfs:

Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-namenode-hadoop-Datastore.out
localhost: starting datanode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-datanode-hadoop-Datastore.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-secondarynamenode-hadoop-Datastore.out

它似乎没有启动第二个硬盘
这是我的core-site.xml

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

此外,我尝试刷新namenode,但遇到连接问题:

Refreshing namenode [localhost:9000]
refreshNodes: Call From hadoop-Datastore/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
Error: refresh of namenodes failed, see error messages above.

另外,我无法连接到hadoopweb界面。我似乎有两个相关的问题:

1) A connection problem
 2) I cannot connect to the new installed hd

这些问题是否相关?如何解决这些问题?
谢谢
编辑
我可以ping localhost并访问localhost:50090/status.jsp
但是,我无法访问50030和50070

lnlaulya

lnlaulya1#

<property>
   <name>dfs.name.dir</name>
   <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
</property>

记录如下:
确定dfs名称节点应在本地文件系统上的何处存储名称表(fsimage)。如果这是一个以逗号分隔的目录列表,那么名称表将复制到所有目录中,以实现冗余。
你确定你需要这个吗?是否要在两个位置复制fsimage以实现冗余?如果是的话,在启动namenode之前,你真的在新的hdd上复制了fsimage吗?请参见向现有集群添加新的namenode数据目录。
新数据目录( dfs.data.dir )如果没有问题,datanode应该将其拾取并开始使用它来放置块。
另外,作为一般的故障排除建议,查看namenode和datanode日志以获取更多线索。

ztyzrc3y

ztyzrc3y2#

关于您的评论:“sudo chown-r hadoop.hadoop/usr/local/hadoop\u store”。所有者必须是hdfs用户。尝试:sudo chown-r hdfs.hadoop/usr/local/hadoop\u store。

相关问题