你好,我是hadoop的新手,对版本名很困惑,我应该在1.x(伟大的支持和学习资源)、2.2或0.23中使用哪个版本。
我已经读到hadoop完全从v0.23(link1)迁移到了yarn。
但与此同时,hadoopv2.0正在向yarn(link2)迁移,而且我可以在hadoop2.2中看到yarn配置文件。
但既然0.23对我来说似乎是最新版本,那么2.2是否也支持yarn呢参考链接1,它说hadoop将支持来自v0.23的yarn)
作为一个初学者,我应该选择1.x还是2.x来学习hadoop的透视图。
hadoop的最新版本是否提供了其他与hadoop一起工作的技术,如pig、hive等?
谢谢。
更新
谢谢大家的回复。我最终使用了hadoop2.2,因为所有著名的教程和资源都过时了,不过我找到了一本好书开始使用v2.2。
“hadoop:权威指南,第三版”作者:tom white(点击此处购买)
支持hadoop v2.2。
源代码在github上给出https://github.com/tomwhite/hadoop-book
正如github上提到的,本书的代码是用
This version of the code has been tested with:
* Hadoop 1.2.1/0.22.0/0.23.x/2.2.0
* Avro 1.5.4
* Pig 0.9.1
* Hive 0.8.0
* HBase 0.90.4/0.94.15
* ZooKeeper 3.4.2
* Sqoop 1.4.0-incubating
* MRUnit 0.8.0-incubating
希望对你有帮助。。!!!
2条答案
按热度按时间zbwhf8kr1#
有几个活跃的发行版系列。1.x发行版系列是0.20发行版系列的延续。0.23发布几周后,0.20分支(以前称为0.20.205)重新编号为1.0。0.20.205和1.0之间几乎没有功能上的差别。这只是重新编号。
0.23包含了几个主要的新特性,包括一个新的mapreduce运行时,称为MapReduce2,在一个名为yarn(另一个资源协商器)的新系统上实现,这是一个用于运行分布式应用程序的通用资源管理系统。类似地,2.x版本是0.23版本系列的延续。所以2.2也支持Yarn。
根据hadoop2.2发行说明
1.2.x-当前稳定版本,1.2版本
2.2.x-当前稳定的2.x版本
0.23.x-类似于2.x.x,但缺少nn ha。
我建议从cloudera发行版开始,因为您刚刚开始学习。cdh 4.5包括您正在寻找的Yarn功能。你也可以试试hortonworks发行版。与这些供应商合作的好处是,您不需要担心哪个版本的组件(如hive、pig)可以与hadoop安装一起使用。
fxnxkyjh2#
我建议您从hadoop-2.2.0开始,它提供了很好的知识。行业更喜欢Yarn本身,在生产中只有2.x存在