我刚刚开始学习hadoop（基于2.6.0），但仍然难以全面了解hadoop的物理和逻辑结构。
我找到的所有引用都使用术语“节点”，如主/从节点和名称/数据节点，但我无法从它们中找到此类“节点”的清晰定义(也许我错过了细节……）
我想知道的是，主/从“节点”是物理机器的术语，名称/数据“节点”是管理实际数据的进程的术语吗？
我的第二个问题是，这些节点如何相互通信？我所知道的是，他们需要ssh进行通信，但仅此而已。如果我有一点线索，知道他们是如何相互交流的，从而理解它的体系结构，那将非常有帮助。
还有什么好的在线参考来学习hadoop吗？对我来说，hadoop网站对像我这样的初学者来说太不友好了，我发现到目前为止的博客有时没有什么信息。请分享一些好的资源！
1条答案
按热度按时间wmtdaxz31#
主/从“节点”是物理机器的术语，名称/数据“节点”是管理实际数据的进程的术语吗？
namenode datanode等是在物理机器上运行的hadoop守护程序服务。因此，如果集群中有运行namenode服务的系统，那么它就称为namenode。一个节点可以运行多个服务，也就是说，它可以运行namenode和datanode，尽管在生产设置中没有这样做，因为我们不希望运行namenode服务的机器负担过重。既然您使用的是hadoop2.6，那么您可能还想看看yarn体系结构，以了解作业是如何执行的
这些节点如何相互通信？我所知道的是，他们需要ssh进行通信，但仅此而已。
看看这个。datanode使用datanodeprotocol与namenode通信。此接口提供发送心跳消息、新数据节点注册、块报告等功能。客户端使用datatransferprotocol与datanode通信。此接口提供读块、写块、复制块等功能。
有什么好的在线参考来学习hadoop吗？
看看这个和这个-可能和新的架构有点不同，但仍然很好阅读。bigdatauniversity有很多初学者的课程。