我负责向一群人（比如说5个人）教授hadoop，但是没有任何可用的硬件。
他们每个人都有一台笔记本电脑，有相当大的内存和处理器。
我想让他们在自己的笔记本电脑之间创建一个hadoop集群，这个集群将连接到同一个网络。
到目前为止，我想的是：
使用ubuntu16预配置创建一个vm映像（ubuntu16是我的选择），为成为集群节点做好准备
让他们每个人在自己的计算机上运行虚拟机
在这个虚拟机网络上创建一个集群
但是，我有一些锁：
1/是否可以创建位于不同机器上的虚拟机的专用网络，以便hadoop集群与连接物理机器的网络隔离？
2/这种方法有什么问题？
3/有没有更好的方法来处理在不同个人计算机之间设置hadoop集群的需求？
顺便说一句，我对hadoop的安装很满意，等等。。。
提前感谢您的帮助，建议。。。
1条答案
按热度按时间hgc7kmma1#
是否可以创建位于不同机器上的虚拟机的专用网络
是的，公司总是通过虚拟机集群来实现这一点。诚然，这些公司有多年的经验做这样的网络设置的人，并有一些防火墙和路由表的深刻知识
所以hadoop集群与连接物理机器的网络隔离？
没有连接所有机器的特定子网是不行的。不过，我猜每台笔记本电脑都共享同一个路由器，而且每台设备在主机和虚拟机之间都有一个共享的网络接口，因此创建这样的接口可能很困难。
这种方法有什么问题？
您需要将至少一台机器指定为“主机器”——namenode和resourcemanager。没有这台机器，什么也做不成。更好的方法是使用ha部署，但这样你就依赖于“两个人”
有没有更好的方法来处理设置hadoop集群的需求
使用aws、azure或gcp的免费层/学分设置群集。它可以从2-3个节点开始，而不是5个节点