在我的笔记本电脑上使用虚拟机设置多节点hadoop群集

jutyujz0  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(555)

我有一台Windows7笔记本电脑,我需要在上面安装hadoop(mutlinode)集群。
我准备好了以下东西-
虚拟软件,即virtualbox和vmware player。
两个虚拟机,即。
ubuntu-用于hadoop master和
ubuntu-for(1x)hadoop从机
有人在你的笔记本电脑上用虚拟机安装过这样的集群吗?
如果是,请帮我安装。
我在google上搜索过,但是我不知道如何使用vms在hadoop上配置这个多节点集群?
如何使用vmware或virtualbox在Windows7上运行两个ubuntu操作系统?
我们应该使用相同的ubuntu版本vm映像还是不同版本的ubuntu linux的vm映像?

iq0todco

iq0todco1#

是的,你可以使用ubuntu双节点。我使用五个节点(1个主节点,4个数据节点)。如果您想在vmware中安装多节点。只需从以下链接下载ubutnu:http://www.ubuntu.com/download/desktop 安装两台机器。安装java和openssh。并从以下链接下载多节点的shell脚本:https://github.com/tonyreddy/apache-multinode-insatallation-shellscript
试试看。。。。。祝你一切顺利。。。。。。。。。。。。

hec6srdp

hec6srdp2#

既然你在笔记本电脑上运行hadoop,那么很明显你这样做是为了学习或者构建poc或者功能调试。
您不必经历安装和设置hadoop及相关大数据软件的麻烦,只需安装预配置的伪分布式vm即可。
一些好的选择是:
cloudera快速启动虚拟机
hortonworks沙盒
我在笔记本电脑上使用cloudera的vm已经有相当一段时间了,而且效果很好。

rkkpypqq

rkkpypqq3#

cloudera和hortonworks是启动和运行它的最快方法。
请确保您的笔记本电脑上安装了足够的ram,以供已经运行的操作系统使用,否则您的笔记本电脑会在使用虚拟机时经常突然重新启动。
我举个例子-
如果您使用的是Windows10,它需要3-5gb的ram才能正常工作,这意味着如果您在ram中加载5gb大小的虚拟机,windows可能会在找不到足够的ram时崩溃。
您必须将ram从8gb升级到12gb或最好的16gb,才能使笔记本电脑正常运行。
希望有帮助

相关问题