我正在尝试在我的机器上设置一个伪分布式hadoop集群。env详细信息:主机操作系统:windows访客操作系统:ubuntu
虚拟机创建了一个主设备和一个从设备。
我能够在单节点集群上成功运行hadoop wordcount
但是当我尝试添加slave时,datanode、jobtracker、namenode和secondary namenode在master中可以正常启动,但是slave中没有数据节点启动。
我可以ping从机并使用ssh从主机登录到从机。
/etc/host文件包含两个vm中的正确条目
我正在使用nat和只支持主机的适配器来获取vm的静态ip
主节点=zenda1
从属节点=zenda
core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://zenda1:9000</value>
</property>
mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>zenda1:9001</value>
</property>
</configuration>
hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
主人
zenda1
奴隶
zenda1
Zenda
hadoop文件夹位于我的主节点和从节点的diff位置(folders location)。
1条答案
按热度按时间s3fp2yjn1#
我找到了解决方案:从机中的数据节点无法启动,因为hadoop home在主机和从机中的位置不同。当我把从节点的hadoop home复制到桌面上时(我的主节点的hadoop home就在那里)。它开始运作良好。