apachehawq安装在hdfs之上

vybvopom  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(409)

我想安装基于hadoop的apachehawq。
在安装hawq之前,我应该安装hadoop并配置我的所有节点。
我有四个节点如下,我的问题是打击。
我应该为安装hadoop发行版吗 hawq-master ?

1. hadoop-master   //namenode, Secondary Namenode, ResourceManager, HAWQ Standby, 
2. hawq-master     //HAWQ Master
3. datanode01      //Datanode, HAWQ Segment
4. datanode02      //Datanode, HAWQ Segment

我将每个节点的角色写在节点旁边,如上所述。在我看来,我应该安装hadoop hadoop-master , datanode01 以及 datanode02 我应该准备好了 hadoop-master 作为namenode(master),其他作为 datanode (从)。然后,我将在所有节点上安装apachehawq。我会准备好的 hawq-master 作为主节点和 hadoop-master 作为hawq备用,最后将另外两个节点作为hawq段。
我想要的是基于hadoop安装hawq。所以,我认为 hawq-master 应该构建在hadoop之上,但是与 hadoop-master .
如果我继续上面的过程,那么我认为我不必在上面安装hadoop发行版 hawq-master . 成功安装基于hadoop的hawq安装,我的想法正确吗?
如果hadoop应该安装在 hawq-master 那么哪一个是正确的呢?

1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.

任何帮助都将不胜感激。

62lalag4

62lalag41#

老实说,如果hadoop和hawq配置正确的话,它们的安装方式没有严格的限制。
出于您的考虑,“我认为hawq master应该构建在hadoop之上,但是与hadoop master没有任何联系”。在我看来,应该是“hawq应该建立在hadoop之上”。我们还配置了hawq主conf文件(hawqsite.xml),以使hawq与hadoop建立连接。
通常,对于hawq主机和hadoop主机,我们可以在一个节点上安装每个组件,但是我们可以在一个节点上安装一些组件来保存节点。但对于hdfs datanode和hawq段,我们通常将它们安装在一起。考虑到每台机器的工作量,我们可以按如下方式安装它们:

hadoop             hawq
 hadoop-master       namenode           hawq standby
 hawq-master         secondarynamenode  hawq master
 other node          datanode           segment

如果您使用yarn集成配置hawq,集群中将有resourcemanager和nodemanager。

hadoop role                hawq role
 hadoop-master       namenode                   hawq standby
 hawq-master         snamenode,resourcemanager  hawq master
 other node          datanode, nodemanager      segment

将它们安装在一起并不意味着它们有连接,而是您的配置文件使它们可以相互连接。你可以把所有的主组件安装在一起,但是可能太重了。有关apache hawq的更多信息,请访问http://incubator.apache.org/projects/hawq.html 看一些文件http://hdb.docs.pivotal.io/211/hdb/index.html.
此外,您还可以订阅开发人员和用户邮件列表,将电子邮件发送到dev-subscribe@hawq.incubator.apache.org / user-subscribe@hawq.incubator.apache.org 订阅并发送电子邮件至dev@hawq.incubator.apache.org / user@hawq.incubator.apache.org 问问题。

相关问题