设置静态ip,此处为192.168.159.130
/etc/hosts中配置如下:
192.168.159.130 hdserver1
192.168.159.131 hdserver2
mkdir /cloud
#解压到/cloud/目录下
tar -zxvf hadoop-2.4.1.tar.gz -C /cloud/
(1)修改hadoop-env.sh,将原来的JAVA_HOME写死
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
(2)修改core-site.xml
新增如下:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop-2.4.1/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hdserver1:9000</value>
</property>
</configuration>
(3)hdfs-site.xml
<configuration>
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
/configuration>
(4)重命名mapred-site.xml.template为mapred-site.xml,并加入相关内容
mv mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(5)yarn-site.xml
<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
export HADOOP_HOME=/cloud/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
hadoop namenode -format
<!--启动hdfs-->
start-dfs.sh
<!--启动yarn-->
start-yarn.sh
<!--或者使用下面来全部启动-->
start-all.sh
[root@hdserver1 ~]# jps
1735 ResourceManager
1593 SecondaryNameNode
1446 DataNode
3846 Jps
1331 NameNode
1831 NodeManager
[root@hdserver1 ~]#
HDFS管理界面:http://192.168.159.130:50070
MR管理界面:http://192.168.159.130:8088
cd ~ 进入到我的home目录
cd .ssh/
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
touch authorized_keys新建该文件
chmod 600 authorized_keys 修改权限
在hdserver1 上执行 scp ~/.ssh/id_rsa.pub hdserver2:~/ 将公钥拷贝到要免登陆的机器上
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
或
ssh-copy-id -i localhost
然后在hdserver1服务器上通过ssh hdserver2(/etc/hosts文件中进行配置)命令行无需密码可直接登录
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://marco.blog.csdn.net/article/details/81097025
内容来源于网络,如有侵权,请联系作者删除!