配置hadoop、hbase和hive集群

cyej8jka  于 2021-06-03  发布在  Hadoop
关注(0)|答案(3)|浏览(328)

我是hadoop、hbase和hive的新手。我在伪分布式模式下安装了hadoop、hbase和hive,一切正常。现在我计划用hive、hbase和zookeeper建立一个简单的hadoop集群(5个节点)。我´我以前读过一些文件和说明,但我找不到一个很好的解释我的问题。我´我不知道在哪里运行所有的守护程序。这是我的考虑:
节点1(主节点)
名称节点
jobtrakcer公司
hbase主机
zookeeper(独立节点;由hbase管理)
节点2(备份主机)
次要名称节点
节点3(从属1)
数据节点1
任务跟踪程序1
区域服务器1
节点4(从属2)
数据节点2
任务跟踪程序2
区域服务器2
节点5(从属3)
数据节点3
任务跟踪程序3
区域服务器3
我知道,在生产中,建议在奇数个节点上运行zookeeper集成(单独的集群)。但是对于一个简单的集群,是否可以设置一个在主节点上运行的独立zookeeper节点?
另一个问题是关于hive的:我知道hive是一个hadoop客户机。我是否也应该在主节点上安装配置单元?有道理吗?
感谢所有的提示和评论!哈刚
注意:我只有5台机器来模拟集群。

zour9fqk

zour9fqk1#

出于测试目的,我相信您可以在主节点上设置zookeeper;我把它们都安装在同一台服务器上了。
我不明白的是,如果集群中有5台机器,为什么要以伪分布式模式安装hadoop?最好安装一个完全分布式的模式。
对于hive,似乎必须用hadoop安装它

Hive uses hadoop that means:

you must have hadoop in your path OR export HADOOP_HOME=<hadoop-install-dir>
fnx2tebb

fnx2tebb2#

如果您计划使用所描述的集群进行测试,那么可以将所有主节点放在同一台服务器上。您还可以将secondarynamenode角色移动到节点\u 1,因为secondarynamenode不是namenode的备份服务器,它在那里为namenode创建检查点。因此,将节点2用作集群中的另一个“worker”节点,或者hiveserver2和metastore是有意义的。
希望这会有帮助。

bweufnob

bweufnob3#

对于hive,似乎必须用hadoop安装它hive使用hadoop这意味着:必须在路径中有hadoop,或者将hadoop导出到home=
@伊泰克:那个´是的。如果安装了hive,就必须将变量“hadoop\u home”设置为hadoop安装路径´这不是问题所在。正如我所说的,我以前在伪分布式模式下使用过hadoop和hive。
唯一的问题是,我´我不知道在完全分布式模式下,在5节点集群中的所有守护进程都在哪里运行。我´我很困惑,因为我想同时运行很多工具(hadoop、hbase和hive)
希望有人给个好提示。。。

相关问题