hadoop组件到节点的Map-哪些组件应该安装在哪里

s71maibg  于 2021-06-04  发布在  Hadoop
关注(0)|答案(0)|浏览(316)

我正在考虑使用以下hadoop服务来使用hdp2.1建立集群

- HDFS    
 - YARN    
 - MapReduce2    
 - Tez    
 - Hive    
 - WebHCat    
 - Ganglia   
 - Nagios    
 - ZooKeeper

我可以想到3种节点类型
名称节点(例如:主节点、辅助节点)
应用程序节点(在这里我将最常访问配置单元服务,并复制代码存储库和任何其他代码工件)
数据节点(集群的主力)
综上所述,我知道有这些最佳实践和共同点
zookeeper服务应至少在3个数据节点上运行
datanode服务应在所有数据节点上运行
ganglia监视器应该在所有数据节点上运行
名称节点服务应在名称节点上运行
nodemanager应该安装在包含datanode组件的所有节点上。
这仍然留下许多悬而未决的问题,例如:
哪一个是安装大量所需服务器的理想节点,例如:hive服务器、app timeline服务器、webhcat服务器、nagios服务器、ganglia服务器、mysql服务器。是应用程序节点吗?每个节点都应该有自己的节点吗?我们应该有一个单独的“实用程序”节点吗?
有没有一些标准来选择zookeeper应该安装在哪里?
我认为更一般的问题是有一个表,上面有“hadoop组件到节点的Map本质上是什么组件应该安装在哪里”
寻求有关此主题的建议/见解/链接或文档。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题