我已经建立了hadoop2.6的单节点集群,但是我需要将zookeeper和hbase与之集成。我是一个初学者,在大数据工具方面没有经验。如何设置zookeeper来协调hadoop集群,以及如何使用hbase over hdfs?它们如何结合形成一个生态系统?
nfeuvbwi1#
对于独立模式,只需按照此hbase中提供的步骤进行操作guide:http://hbase.apache.org/book.html#快速启动hbase有一个独立的模式,使初学者很容易开始。在独立模式下,hbase、hdfs和zk在单个jvm进程中运行。
blmhpbnm2#
这取决于你想建立什么样的系统。正如您所说,hadoop生态系统由三个主要组件组成:hbase、hdfs和zookeeper。尽管它们可以彼此独立安装,但有时不需要根据要安装的集群类型来安装所有这些组件。由于您使用的是单节点群集,因此可以选择两种hbase运行模式:独立模式和伪分布式模式。在独立模式下,不需要安装hdfs或zookeeper。hbase将以透明的方式执行所有操作。如果要使用伪分布式模式,可以对本地文件系统或hdfs运行hbase。如果你想使用hdfs,你必须安装hadoop。关于zookeeper,同样,hbase也将自己完成这项工作(您只需要通过配置文件告诉他这一点)。如果你想在伪分布式模式下使用hdfs,下载hadoop你会得到hdfs和mapreduce。如果不想执行mapreduce作业,请忽略它的工具。如果你想了解更多,我认为这本指南很好地解释了这一切:https://hbase.apache.org/book.html (检查hbase运行模式)。
2条答案
按热度按时间nfeuvbwi1#
对于独立模式,只需按照此hbase中提供的步骤进行操作guide:http://hbase.apache.org/book.html#快速启动
hbase有一个独立的模式,使初学者很容易开始。在独立模式下,hbase、hdfs和zk在单个jvm进程中运行。
blmhpbnm2#
这取决于你想建立什么样的系统。正如您所说,hadoop生态系统由三个主要组件组成:hbase、hdfs和zookeeper。尽管它们可以彼此独立安装,但有时不需要根据要安装的集群类型来安装所有这些组件。
由于您使用的是单节点群集,因此可以选择两种hbase运行模式:独立模式和伪分布式模式。在独立模式下,不需要安装hdfs或zookeeper。hbase将以透明的方式执行所有操作。如果要使用伪分布式模式,可以对本地文件系统或hdfs运行hbase。如果你想使用hdfs,你必须安装hadoop。关于zookeeper,同样,hbase也将自己完成这项工作(您只需要通过配置文件告诉他这一点)。
如果你想在伪分布式模式下使用hdfs,下载hadoop你会得到hdfs和mapreduce。如果不想执行mapreduce作业,请忽略它的工具。
如果你想了解更多,我认为这本指南很好地解释了这一切:https://hbase.apache.org/book.html (检查hbase运行模式)。