我们可以在同一个系统上以伪分布式模式安装不同版本的hadoop吗?实际上,我想探索不同版本的hadoop-1.x和hadoop-2.x的特性,我已经在两个运行linux的不同系统上配置了hadoop-1.x和hadoop-2.x。有没有办法在同一台机器上配置?
ndh0cuux1#
是的,可以在同一台主机上并排安装多个版本的hadoop软件。将不同版本的hadoop软件解压到不同的子目录中。为不同版本创建单独的配置文件(core-site.xml、hdfs-site.xml、yarn-site.xml等),并将这些文件集保存在单独的目录中。请确保为使用本地存储的内容配置不同的目录,例如 dfs.namenode.name.dir 以及 dfs.datanode.data.dir 在hdfs-site.xml中。这两个版本的数据应该彼此隔离。或者,如果您想尝试在两个不同的版本之间共享数据,并且一次只运行一个版本,那么您可能能够实现这一点。根据涉及的软件版本,您可能会遇到数据不兼容或需要运行升级命令。如果要同时运行多个版本,请确保为它们配置了不同的服务器端口,例如 dfs.namenode.rpc-address 在hdfs-site.xml和 yarn.server.resourcemanager.address 在yarn-site.xml中。在调用命令时,设置如下环境变量 HADOOP_HOME 以及 HADOOP_CONF_DIR 控制要执行的版本和要使用的配置。对于手动部署的安装,如使用apachehadoop发行版,以上所有内容都可以正常工作。对于bigtop发行版或供应商发行版,rpm/deb/etc.打包可能对并行部署的容忍度较低。
dfs.namenode.name.dir
dfs.datanode.data.dir
dfs.namenode.rpc-address
yarn.server.resourcemanager.address
HADOOP_HOME
HADOOP_CONF_DIR
1条答案
按热度按时间ndh0cuux1#
是的,可以在同一台主机上并排安装多个版本的hadoop软件。
将不同版本的hadoop软件解压到不同的子目录中。
为不同版本创建单独的配置文件(core-site.xml、hdfs-site.xml、yarn-site.xml等),并将这些文件集保存在单独的目录中。
请确保为使用本地存储的内容配置不同的目录,例如
dfs.namenode.name.dir
以及dfs.datanode.data.dir
在hdfs-site.xml中。这两个版本的数据应该彼此隔离。或者,如果您想尝试在两个不同的版本之间共享数据,并且一次只运行一个版本,那么您可能能够实现这一点。根据涉及的软件版本,您可能会遇到数据不兼容或需要运行升级命令。如果要同时运行多个版本,请确保为它们配置了不同的服务器端口,例如
dfs.namenode.rpc-address
在hdfs-site.xml和yarn.server.resourcemanager.address
在yarn-site.xml中。在调用命令时,设置如下环境变量
HADOOP_HOME
以及HADOOP_CONF_DIR
控制要执行的版本和要使用的配置。对于手动部署的安装,如使用apachehadoop发行版,以上所有内容都可以正常工作。对于bigtop发行版或供应商发行版,rpm/deb/etc.打包可能对并行部署的容忍度较低。