抱歉,如果我的问题是naï爱。我们计划使用cdh 5.3.0或5.4.0。我们想要实现一个多节点集群。
我在不同的博客/资源上看到/阅读的示例多节点安装在不同的主机上有主节点和从节点。
然而,我们受到主机数量的限制。我们只有2台功能强大的主机(32核400+gbram),所以如果我们决定在一台主机上安装master,在另一台主机上安装slave,我们最终只会得到一台slave。我的问题是:
有可能在同一台主机上有主设备和从设备吗?
我可以在一个主机上有多个从属节点。
使用cloudera管理器也需要付费,或者像其他组件一样是开源的。
如果你能告诉我一些资源的方向,这将有助于我了解上述情况,这将是有益的。
谢谢你的帮助。
当做,
v
2条答案
按热度按时间brqmpdu11#
是的,您可以在单个节点上同时配置namenode和datanode。
一台计算机上不能有两个以上的数据节点。
cloudera是开源的hadoop发行版。
gmxoilav2#
老问题,但没有,错误答案:
是的,可以在单个主机上安装master&worker服务。e、 g.hdfs(namenode和datanode)。如果足够强大的话,您甚至可以在一台主机上安装一个完整的cloudera或hortonworks安装,其中包含所有服务,但我只建议将其用于poc或testcase。
如果使用cloudera或hortonworks而不使用虚拟化,则不可能在同一主机上运行同一工作者服务(例如datanode)的多个示例。1个主机1个工作示例。其他一切都没有意义。
cloudera是一个包含多个开源项目(hadoop,spark…)和clouderamanager等其他封闭源代码部分以及其他企业封闭源代码特性的包。但你所需要的一切都是免费的,即使是在社区许可证下用于商业用途。现在(2017年):只有cloudera navigator是大特性,它不是社区版的一部分