Hadoop1和hadoop2之间的区别

bgibtngc  于 2021-06-04  发布在  Hadoop
关注(0)|答案(3)|浏览(424)

据我所知,hadoop1和hadoop2只有一个区别。
它的主动和被动次名称节点。
有人能告诉我hadoop1和hadoop2的区别吗?

drkbr07n

drkbr07n1#

hadoop 1
hadoop1.x只支持mapreduce(mr)处理模型,不支持非mr工具。
mr负责处理和集群资源管理。
1.x对节点的缩放有限。每个群集限制为4000个节点。
适用于插槽的概念–插槽只能运行map任务或reduce任务。
管理整个命名空间的单个namenode。
1.x有单点故障(spof)–因为单namenode–在namenode故障的情况下,需要手动干预来克服。
mrapi与hadoop 1x兼容。用hadoop1编写的程序在hadoop1x中执行,没有任何附加文件。
1.x作为事件处理、流式处理和实时操作的平台有一定的局限性。
hadoop 2
hadoop2.x允许在mr以及其他分布式计算模型(如spark、hama、giraph、消息传递接口)mpi和hbase协处理器中工作。
yarn(另一个资源谈判者)负责集群资源管理,并使用不同的处理模型进行处理。
2.x具有更好的可扩展性。每个群集最多可扩展10000个节点。
研究容器的概念。使用容器可以运行常规任务。
多个namenode服务器管理多个命名空间。
2.x有一个备用namenode克服spof的功能,当namenode发生故障时,配置为自动恢复。
mr api需要额外的文件才能让用hadoop1x编写的程序在hadoop2x中执行。
可以作为各种数据分析的平台,可以运行事件处理、流式处理和实时操作。

i1icjdpr

i1icjdpr2#

hadoop2中的hadoop架构有重大改进。引入了被称为yarn的分布式操作系统层(另一个资源协商器)。现在资源(内存和cpu)管理由yarn处理。
此外,还为namenode引入了ha。

weylhg0b

weylhg0b3#

1) 可伸缩性—通过将处理在从属服务器上运行的任务的工作委派给应用程序主服务器,降低了资源管理器(rm)上的负载,rm现在可以处理比job tracker更多的请求,从而方便添加更多节点。
2) 不像mpv1与mapreduce强耦合,yarn支持多种代码在其上运行,如mr2、tez、storm、spark等
3) 优化的资源分配-没有固定数量的插槽分别分配给Yarn中的Map器和减速器,mrv1就是这种情况。因此,节点的可用容量可以用于任何需要资源的任务。
4) 当资源管理器失败时,在恢复资源管理器后,不需要重新启动集群上运行的作业。
5) 故障转移机制是由zk实现的,zk已经是资源管理器的一部分,它说,我们不需要运行另一个守护进程。
请在这里查看更多详细信息。。

相关问题