嗨，我想知道是否有人有一些建议来设置我的集群。它主要是为了自己的学习目的。我正在刮新闻文章，想尝试一些机器学习聚类等东西，我的数据约为1-10GB。
我有权支配
macbook pro和ssd/8gb内存/i5（2核）macbook pro和ssd/8gb内存/i5（2核）
台式电脑，ubuntu 1.5 tb硬盘空间/8gb内存/i5（4核）
我现在的想法是用我的macbook作为主节点，在我的台式机上通过vm设置2-4个从节点，也许我可以获得8-16gigs的额外内存。
我不太关心表现。
或者我应该放弃我的想法，走亚马逊ec2路线？
提前谢谢
1条答案
按热度按时间dnph8jn41#
如果您的数据小于10 gb并且性能不是问题，那么您的配置应该足够好，可以运行map reduce/或许多机器学习程序。我在家里的笔记本电脑上建立了一个2节点的集群，这个集群与你的配置不匹配（内存更少，内核相同），我可以以相当快的速度运行复杂的hadoop作业。与其在amazonec2上花些钱，不如继续这样做。