安装和配置多节点hadoop集群

np8igboo  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(408)

我是大数据系统的新手,已经完成了一些coursera认证。我计划用4台商品级的电脑建立自己的hadoop集群。目前所有的电脑都运行windows,但我可以在上面安装linux。我在互联网上搜索了很多关于安装过程的信息,但是没有找到(在aws上找到了很多)。在这个时候,我不局限于任何平台,但希望所有的技术都是免费\开源的。有了4台电脑,我可以有1个主节点和其他3个数据节点。如果您能详细介绍如何旋转这个裸机hadoop集群的步骤(至少是大致的轮廓),我们将不胜感激。

elcex8rz

elcex8rz1#

所以你想在4节点集群上安装hadoop安装程序!
要求:1主3从(在多节点集群上安装hadoop安装程序)
第一步:扔掉Windows。目前hadoop可用于linux机器。你可以使用ubuntu14.04或更高版本(或centos、redhat等)
步骤2:安装并设置java$sudo apt get install python软件属性$sudo add apt repositoryppa:ferramroberto/java $sudo apt get更新$sudo apt get安装sun-java6-jdk


# Select Sun's Java as the default on your machine.

# See 'sudo update-alternatives --config java' for more information.

# 

$ sudo update-java-alternatives -s java-6-sun

步骤3:在.bashrc文件中设置路径(使用文本编辑器(vi/nano)打开此文件并附加以下文本)

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

步骤4:添加一个专用用户(虽然这不是必需的,但建议这样做)


# useradd hadoop

# passwd hadoop

第5步:编辑所有节点上/etc/文件夹中的hosts文件,指定每个系统的ip地址,后跟它们的主机名。(使用 vi /etc/hosts 并在下面添加文本--

<ip address of master node> hadoop-master 
<ip address of slave node 1> hadoop-slave-1 
<ip address of slave node 2> hadoop-slave-2
<ip address of slave node 3> hadoop-slave-3

第6步:在每个节点中设置ssh,这样它们就可以在不提示输入密码的情况下相互通信。

$ su hadoop
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp3@hadoop-slave-3
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

有关ssh的更多信息,请访问:[https://www.ssh.com/ssh/][1]
第七步:在主服务器上下载并安装hadoop。


# mkdir /opt/hadoop

# cd /opt/hadoop/

# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-

  1.2.0.tar.gz 

# tar -xzf hadoop-1.2.0.tar.gz

# mv hadoop-1.2.0 hadoop

# chown -R hadoop /opt/hadoop

# cd /opt/hadoop/hadoop/

安装完毕!
下一步是:配置hadoop
步骤1:打开core-site.xml并按如下方式编辑:

<configuration>
<property> 
  <name>fs.default.name</name> 
  <value>hdfs://hadoop-master:9000/</value> 
</property> 
<property> 
  <name>dfs.permissions</name> 
  <value>false</value> 
</property> 
</configuration>

第二步:打开hdfs-site.xml,按如下方式编辑:

<configuration>
<property> 
  <name>dfs.data.dir</name> 
  <value>/opt/hadoop/hadoop/dfs/name/data</value> 
  <final>true</final> 
</property> 

<property> 
  <name>dfs.name.dir</name> 
  <value>/opt/hadoop/hadoop/dfs/name</value> 
  <final>true</final> 
</property> 
 <property> 
  <name>dfs.name.dir</name> 
  <value>/opt/hadoop/hadoop/dfs/name</value> 
  <final>true</final> 
</property> 

<property> 
  <name>dfs.replication</name> 
  <value>3</value> 
</property> 
</configuration>

步骤3:打开mapred-site.xml并编辑--

<configuration>
<property> 
  <name>mapred.job.tracker</name> 
  <value>hadoop-master:9001</value> 
</property> 
</configuration>

第4步:在hadoop-env.sh中添加下面的文本

export JAVA_HOME=/opt/jdk1.7.0_17 export 
HADOOP_OPTS=Djava.net.preferIPv4Stack=true export 
HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

第5步:配置主机--

$ vi etc/hadoop/masters 
hadoop-master

第5步:也在从属节点上安装它--


# su hadoop

$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop
$ scp -r hadoop hadoop-slave-3:/opt/hadoop

步骤6:配置从属设备--

$ vi etc/hadoop/slaves
hadoop-slave-1 
hadoop-slave-2
hadoop-slave-3

第7步:格式化节点(仅一次,否则所有数据将永久丢失)


# su hadoop

$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format

你们都准备好了!!
您可以按以下方式启动服务--

$ cd $HADOOP_HOME/sbin
$ start-all.sh

相关问题