我有一个关于在一台机器上使用多个虚拟化节点与在一台机器上使用单个节点的速度和性能的问题。哪一个表现更好？我问这个问题的原因是因为我目前正在一台机器上学习hadoop，我在internet上看到了一些教程，其中展示了在一台机器上使用多个虚拟化节点。先谢谢你
js81xvg61#
虚拟化总是会带来一些开销，所以除非真的有必要，否则我不建议在虚拟化环境中运行hadoop。也就是说，我知道vmware在使hadoop在虚拟化环境中工作方面做了很多工作，而且他们发布了一些基准测试，声称在某些条件下，与本机应用程序相比，vms具有更好的性能。我对vsphere还没怎么玩过，但如果您想进一步探索虚拟化，可以看看这个。但不要想当然地认为这些数字，这实际上取决于您正在运行的硬件类型，因此在某些情况下，我认为您可能会通过虚拟机获得一些性能，但我根据经验猜测，在大多数情况下，您不会获得任何好处。如果您刚刚开始使用hadoop进行测试，我认为虚拟化是一种过度的做法。您可以非常轻松地以伪分布式模式运行hadoop，这意味着您可以在同一个框上运行多个hadoop守护进程，每个守护进程作为一个单独的进程。这就是我开始使用hadoop的原因，这是一个很好的开端。您可以在这里找到更多信息（或者可能需要另一个页面，具体取决于您运行的hadoop版本）。如果您想用一个真正的集群进行测试，但又没有足够的资源，我建议您看看amazonelasticmap/reduce：它提供了一个按需集群，而且非常便宜。这样你可以做更多的高级测试。更多信息请点击此处。底线是，我认为如果目的只是测试，那么实际上并不需要虚拟集群。
rseugnpd2#
针对这个主题进行的性能分析案例研究表明，虚拟hadoop集群的效率仅比本地集群低4%左右：虚拟hadoop性能案例研究
2条答案
按热度按时间js81xvg61#
虚拟化总是会带来一些开销，所以除非真的有必要，否则我不建议在虚拟化环境中运行hadoop。
也就是说，我知道vmware在使hadoop在虚拟化环境中工作方面做了很多工作，而且他们发布了一些基准测试，声称在某些条件下，与本机应用程序相比，vms具有更好的性能。我对vsphere还没怎么玩过，但如果您想进一步探索虚拟化，可以看看这个。但不要想当然地认为这些数字，这实际上取决于您正在运行的硬件类型，因此在某些情况下，我认为您可能会通过虚拟机获得一些性能，但我根据经验猜测，在大多数情况下，您不会获得任何好处。
如果您刚刚开始使用hadoop进行测试，我认为虚拟化是一种过度的做法。您可以非常轻松地以伪分布式模式运行hadoop，这意味着您可以在同一个框上运行多个hadoop守护进程，每个守护进程作为一个单独的进程。这就是我开始使用hadoop的原因，这是一个很好的开端。您可以在这里找到更多信息（或者可能需要另一个页面，具体取决于您运行的hadoop版本）。
如果您想用一个真正的集群进行测试，但又没有足够的资源，我建议您看看amazonelasticmap/reduce：它提供了一个按需集群，而且非常便宜。这样你可以做更多的高级测试。更多信息请点击此处。
底线是，我认为如果目的只是测试，那么实际上并不需要虚拟集群。
rseugnpd2#
针对这个主题进行的性能分析案例研究表明，虚拟hadoop集群的效率仅比本地集群低4%左右：虚拟hadoop性能案例研究