在一台计算机上运行hadoop集群

hujrc8aj  于 2021-05-30  发布在  Hadoop
关注(0)|答案(3)|浏览(522)

我是hadoop环境的新手。我想知道是否可以使用虚拟机在一台机器上运行集群(包含2或3个节点)。
欢迎澄清。
谢谢您。

mmvthczy

mmvthczy1#

是的,我们可以在一台机器上安装许多虚拟机。但是如果我们考虑(例如)clouderavm4.7,它需要4gb的ram。所以对于3vm的3*4=12gb。而且,除了你的机器有它的应用程序运行,它至少需要2GB。所以总的来说你需要14+gb的内存。而且,硬盘分区也应该相应地进行。

vzgqcmou

vzgqcmou2#

我建议,在你的情况下,采用伪分布式模式。在一台机器上运行多个vm是非常好的。但是ram应该足以处理这些vm和主要应用程序。在伪分布式模式下,我们可以模拟多节点集群,但唯一的区别是namenode、resourcemanager、data node、node manager等所有守护进程都使用单个jvm,而不是在不同的机器上运行。
https://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

z3yyvxxp

z3yyvxxp3#

从虚拟hadoop wiki:
云和虚拟化需要分开研究,但在所有情况下,答案都是“是的,你可以虚拟化,是的,你可以部署到云,但你需要知道后果并相应地规划”。
这个wiki页面是开始考虑如何在vm上安装hadoop的好地方。

相关问题