cloudera管理器管理

sbdsn5lh  于 2021-05-29  发布在  Hadoop
关注(0)|答案(4)|浏览(483)

我是cloudera hadoop的新手,我想自己学习cloudera hadoop管理,我在windows笔记本电脑上安装了12GB的ram,可以使用9GB左右的虚拟机,有人知道如何在虚拟环境中安装和使用cloudera manager来实践cloudera管理吗?有没有办法在只有8gb内存的cloudera manager上工作?

e4yzc0pl

e4yzc0pl1#

您可以下载cloudera快速启动。它是一个包含许多cloudera组件的vm,需要4gb的ram。
链接:
http://www.cloudera.com/documentation/enterprise/5-3-x/topics/cloudera_quickstart_vm.html

hivapdat

hivapdat2#

您可以安装
从centos dvd安装centos 6.x或7.2,并选择“minimal server”或“minimal workstation”,具体取决于您是否需要图形界面
使用cloudera文档从头开始安装cloudera管理器,使用外部postgresql选择路径b。它比路径a更能代表管理任务。路径c从cm开始只是一场噩梦。
使用9gbram,如果您有一个eclipse示例来开发一些概念验证,集群可以运行得稍微慢一点,但这是可以接受的。当您的集群启动时,您可以停止cloudera manager并使用hadoop服务。

b4lqfgs4

b4lqfgs43#

因此,基本上首先你需要安装一个虚拟机与操作系统,我一般更喜欢centos,但检查支持的操作系统,由cloudera在安装之前,你可以按照从互联网上的链接创建虚拟机这里是一个
http://teaching.idallen.com/cst8207/14f/notes/000_centos_virtualbox_install.html
然后,一旦虚拟机启动,并且您在上面有了互联网连接,就可以在这里为cloudera配置preriqus站点
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/cm_ig_cm_requirements.html
您将有两个选择手动或由cloudera manager自动继续您的首选。
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html
我希望这能帮助你和其他人。

sqxo8psd

sqxo8psd4#

您可以使用vagrant,它是一个命令行实用程序,用于管理虚拟机的生命周期。
您尤其可以按照以下说明操作:http://blog.cloudera.com/blog/2014/06/how-to-install-a-virtual-apache-hadoop-cluster-with-vagrant-and-cloudera-manager/
如果您选择这样做,因为您没有很多可用的ram,所以您必须修改projectvagrantfile以满足您的ram需求,并且您可能无法在您的节点上安装所有cloudera服务。
默认项目将旋转一个由4个虚拟机组成的集群;一个主节点有4gb的ram,三个从节点各有2gb的ram。
您可以从vagrant文件中删除一个slave,例如,通过删除以下行来删除slave3:

config.vm.define :slave3 do |slave3|

    slave3.vm.box = "precise64"

    slave3.vm.provider :virtualbox do |v|
       v.name = "vm-cluster-node4"
       v.customize ["modifyvm", :id, "--memory", "2048"]
    end

    slave3.vm.network :private_network, ip: "10.211.55.103"
    slave3.vm.hostname = "vm-cluster-node4"
    slave3.vm.provision :shell, :inline => $hosts_script
    slave3.vm.provision :hostmanager

end

因此,您将拥有一个由3个节点组成的集群;一个主内存为4gb,两个从内存为2gb。

相关问题