我对大数据和hadoop还不熟悉。参加了一些学习课程,看到了这张照片:它说使用一台机器会使进度更快[第一台]我不明白为什么我们要涉及多个节点?=)
erhoui1w1#
为什么hadoop支持在三种模式下运行的原因在这个博客“hadoop模式”中被描述为简单易懂。以下是独立模式如何更快工作的秘密:在独立模式下,没有后台运行的hadoop守护程序(namenode、datanode、secondary namenode、jobtracker和tasktracker)。结果你会的,没有存储元数据信息的namenode。没有数据节点,因为没有hdfs。文件将本地存储在硬盘上。没有tasktracker向jobtracker发送状态报告。没有jobtracker,因为没有要管理的TaskTracker。顾名思义,独立模式下的所有东西都在单个jvm(单机)中运行。当您想用较小的输入(存储在本地)测试程序的bug时,它是最合适的。它也称为localjobrunner模式。有关详细信息,请阅读tom white的《o'reilly's hadoop:权威指南》一书。
1条答案
按热度按时间erhoui1w1#
为什么hadoop支持在三种模式下运行的原因在这个博客“hadoop模式”中被描述为简单易懂。以下是独立模式如何更快工作的秘密:
在独立模式下,没有后台运行的hadoop守护程序(namenode、datanode、secondary namenode、jobtracker和tasktracker)。
结果你会的,
没有存储元数据信息的namenode。
没有数据节点,因为没有hdfs。文件将本地存储在硬盘上。
没有tasktracker向jobtracker发送状态报告。
没有jobtracker,因为没有要管理的TaskTracker。
顾名思义,独立模式下的所有东西都在单个jvm(单机)中运行。当您想用较小的输入(存储在本地)测试程序的bug时,它是最合适的。它也称为localjobrunner模式。
有关详细信息,请阅读tom white的《o'reilly's hadoop:权威指南》一书。