我们有hortonworks hadoop群集和spark版本- 2.3.0
(基于hdp) 2.6.5
),带ambari平台
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.3.0.2.6.5.0-292
/_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_112)
Type in expressions to have them evaluated.
Type :help for more information.
scala>
为了将spark版本升级到 2.3.2
,我们需要将hdp版本升级到 3.1
但是升级hdp到 3.1
为了得到Spark 2.3.2
太冒险了,因为这是hadoop集群
所以我们决定从头开始安装spark客户端(从https://spark.apache.org/downloads.html ),所有机器上的Spark版本- 2.4.4
,保留旧的spark版本- 2.3.0
原样
表示未删除当前的spark版本,但安装新的spark版本- 2.4.4
(来自https://spark.apache.org/downloads.html ),这将是新的工作Spark而不是Spark 2.3.0
有可能吗?
如果是,那怎么办,程序?
hdp 3.1.0的官方apache组件版本:
Apache Accumulo 1.7.0
Apache Atlas 1.1.0
Apache Calcite 1.16.0
Apache DataFu 1.3.0
Apache Hadoop 3.1.1
Apache HBase 2.0.2
Apache Hive 3.1.0
Apache Kafka 2.0.0
Apache Knox 1.0.0
Apache Livy 0.5.0
Apache Oozie 4.3.1
Apache Phoenix 5.0.0
Apache Pig 0.16.0
Apache Ranger 1.2.0
Apache Spark 2.3.2 <------------------
Apache Sqoop 1.4.7
Apache Storm 1.2.1
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6
Apache Superset 0.23.3
Apache Druid 0.12.1
暂无答案!
目前还没有任何答案,快来回答吧!