为hadoop实践创建或获取环境

5tmbdcev  于 2021-05-30  发布在  Hadoop
关注(0)|答案(3)|浏览(344)

我已经开始读hadoop了。我也想学实践。由于hadoop是分布式环境,并且是在linux上运行的,所以我无法在运行windows的本地机器上进行实践。互联网上有没有云或虚拟机,我可以自己设置整个环境并开始学习?我也可以预先配置hadoop集群,但我更喜欢自己配置。

gc0ot86w

gc0ot86w1#

我还想学习一些关于hadoop的知识,所以我买了一个raspberry pi,按照这些说明安装了raspbian wheeezy和hadoop。
它很好地解释了如何建立一个单节点集群。raspberry pi上的hadoop不是很快,但在我看来,它足够快,可以学习hadoop的基础知识。
如果您想在本地机器上设置一个单节点集群,我更喜欢使用一个发行版,正如user3341955已经提到的那样。我选择hortonworks是因为MacOSX上有一个非常简单的virtualbox安装指南。
以及windows上vmware player的安装指南:
hadoop玩得开心:)

b4wnujal

b4wnujal2#

cloudera(cloudera.com)有一些预先配置的单节点环境。它只有3gb,但你可以找到每一个大数据组件,你需要什么。
http://www.cloudera.com/downloads/quickstart_vms.html
oracle还有一个vm,可以免费开发和测试:oraclebigdatalite
http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
hortonworks还有一个预配置的沙盒。
我更喜欢cloudera的环境。如果你想测试sqoop组件,oracle是不错的。

1tu0hz3e

1tu0hz3e3#

既然您正在寻找一个基于云的环境,我建议您使用clouderalive演示,它实际上就是hue演示。它基本上是hue的一个真实示例(这是非管理员用户可以使用和看到的ui),在一个对公众开放的真实集群前面。您可以浏览文件系统、问题查询等。
如果你想探索更多的表面细节,是的,你应该运行自己的玩具集群。如果您喜欢cloudera发行版,请注意cloudera manager是免费的,并且是一个安装程序,它可以在云中为您打开一个集群,就像在amazonec2上一样。

相关问题