为什么我们要在hadoop中使用多个节点?

4zcjmb1e  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(512)

我对大数据和hadoop还不熟悉。参加了一些学习课程,看到了这张照片:

它说使用一台机器会使进度更快[第一台]我不明白为什么我们要涉及多个节点?=)

erhoui1w

erhoui1w1#

为什么hadoop支持在三种模式下运行的原因在这个博客“hadoop模式”中被描述为简单易懂。以下是独立模式如何更快工作的秘密:
在独立模式下,没有后台运行的hadoop守护程序(namenode、datanode、secondary namenode、jobtracker和tasktracker)。
结果你会的,
没有存储元数据信息的namenode。
没有数据节点,因为没有hdfs。文件将本地存储在硬盘上。
没有tasktracker向jobtracker发送状态报告。
没有jobtracker,因为没有要管理的TaskTracker。
顾名思义,独立模式下的所有东西都在单个jvm(单机)中运行。当您想用较小的输入(存储在本地)测试程序的bug时,它是最合适的。它也称为localjobrunner模式。
有关详细信息,请阅读tom white的《o'reilly's hadoop:权威指南》一书。

相关问题