安装伪分布式/单节点安装apache hadoop 2.2

hgb9j2n6  于 2021-06-04  发布在  Hadoop
关注(0)|答案(3)|浏览(400)

我已经安装了apachehadoop2.2作为单节点集群。当我尝试执行giraph示例时,它以错误“localjobrunner,您不能在拆分主/辅模式下运行,因为一次只有一个任务”结束。
我在浏览论坛时发现,我可以更新mapred-site.xml,使其拥有4个Map器。我试过了,但还是没用。我又遇到了一个论坛,我可以改变单节点设置为伪分布式模式,它解决了这个问题。
有人请让我知道,哪些配置文件我需要改变,以获得单节点设置行为作为伪分布式模式。

wljmcqd8

wljmcqd81#

除了renzzz answer之外,您还需要检查是否可以在不使用密码短语的情况下通过ssh连接到本地主机:

$ ssh localhost

如果在没有密码短语的情况下无法ssh到localhost,请执行以下命令:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

以下链接可以帮助您-https://hadoop.apache.org/docs/current2/hadoop-project-dist/hadoop-common/singlenodesetup.html

zaq34kh6

zaq34kh62#

一是确保职工人数为一人。然后,您需要将giraph配置为不通过以下方式拆分辅助进程和主进程:

giraph.SplitMasterWorker=false

您可以在giraph-site.xml中设置它,也可以通过命令行选项传递:

-ca giraph.SplitMasterWorker=false

裁判:https://www.mail-archive.com/user@giraph.apache.org/msg01631.html

q9rjltbz

q9rjltbz3#

对于我的第一次安装,我遵循了一些手册,但对于单节点安装来说,最好的一个是pdf apache hadoop示例。我建议你一步一步地使用这本手册

相关问题