我喜欢学习hadoop多节点的设置和安装，通过参考上面的教程，我了解到单节点集群环境可以用作多节点集群的节点http://bigdatahandler.com/hadoop-hdfs/hadoop-multi-node-cluster-setup/目前我正在学习使用horton沙盒的hadoop，我们可以使用沙盒系统作为单节点环境吗？如果没有，沙盒和传统hadoop集群安装有什么区别
pgpifvop1#
沙盒映像（来自hortonworks和cloudera）为用户提供了一个预先配置的开发环境，其中包含所有已经可用和安装的常用工具（pig、hive等）。因为映像是一个“系统”，所以它的设置使得hadoop集群是单节点的：也就是说，所有东西（hdfs、hadoop map reduce等）都是该映像的本地部分。这是一个巨大的好处，任何建立hadoop集群的人都会告诉你！它允许您以很少的操作开销启动和运行。但是，这些沙盒没有提供真实的集群行为，因为您只有一个节点。但是还有其他的可能性-比如vagrant和docker-可以让你这么做（我自己没有试过）。您共享的大数据处理程序链接似乎是关于将这些独立的、固有的单节点“集群”组合起来，这样您就有了更现实的东西。但我想，设置这样的服务，使Yarn，Zookeeper和其他服务不被复制，是一个不小的挑战。
1条答案
按热度按时间pgpifvop1#
沙盒映像（来自hortonworks和cloudera）为用户提供了一个预先配置的开发环境，其中包含所有已经可用和安装的常用工具（pig、hive等）。因为映像是一个“系统”，所以它的设置使得hadoop集群是单节点的：也就是说，所有东西（hdfs、hadoop map reduce等）都是该映像的本地部分。这是一个巨大的好处，任何建立hadoop集群的人都会告诉你！它允许您以很少的操作开销启动和运行。
但是，这些沙盒没有提供真实的集群行为，因为您只有一个节点。但是还有其他的可能性-比如vagrant和docker-可以让你这么做（我自己没有试过）。
您共享的大数据处理程序链接似乎是关于将这些独立的、固有的单节点“集群”组合起来，这样您就有了更现实的东西。但我想，设置这样的服务，使Yarn，Zookeeper和其他服务不被复制，是一个不小的挑战。