我正在考虑使用以下hadoop服务来使用hdp2.1建立集群
- HDFS
- YARN
- MapReduce2
- Tez
- Hive
- WebHCat
- Ganglia
- Nagios
- ZooKeeper
我可以想到3种节点类型
名称节点(例如:主节点、辅助节点)
应用程序节点(在这里我将最常访问配置单元服务,并复制代码存储库和任何其他代码工件)
数据节点(集群的主力)
综上所述,我知道有这些最佳实践和共同点
zookeeper服务应至少在3个数据节点上运行
datanode服务应在所有数据节点上运行
ganglia监视器应该在所有数据节点上运行
名称节点服务应在名称节点上运行
nodemanager应该安装在包含datanode组件的所有节点上。
这仍然留下许多悬而未决的问题,例如:
哪一个是安装大量所需服务器的理想节点,例如:hive服务器、app timeline服务器、webhcat服务器、nagios服务器、ganglia服务器、mysql服务器。是应用程序节点吗?每个节点都应该有自己的节点吗?我们应该有一个单独的“实用程序”节点吗?
有没有一些标准来选择zookeeper应该安装在哪里?
我认为更一般的问题是有一个表,上面有“hadoop组件到节点的Map本质上是什么组件应该安装在哪里”
寻求有关此主题的建议/见解/链接或文档。
暂无答案!
目前还没有任何答案,快来回答吧!