齐柏林飞艇0.7.2版本不支持spark 2.2.0

50few1ms  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(347)

如何下调spark版本?其他的解决方案是什么?我必须使用spark会话将我的配置单元表连接到spark。但spark版本不受齐柏林飞艇的支持。

eeq64g8w

eeq64g8w1#

这里有两个原因。
[1] 齐柏林飞艇0.7.2将spark 2.2+标记为不支持的版本。
https://github.com/apache/zeppelin/blob/v0.7.2/spark/src/main/java/org/apache/zeppelin/spark/sparkversion.java#l40

public static final SparkVersion UNSUPPORTED_FUTURE_VERSION = SPARK_2_2_0;

[2] 即使更改const并重新构建,也可能无法使用spark 2.2运行zeppelin 0.7.2
https://spark.apache.org/releases/spark-release-2-2-0.html
spark放弃了对Java7的支持,Zeppelin0.7.2是用JDK7构建的。所以你需要用jdk8重建它。
您可以使用的一个解决方法是,指定 JAVA_HOME 在spark解释器(对于2.2)中

https://github.com/apache/zeppelin/pull/2486#issuecomment-314954959
这是因为只有spark解释器(2.2版)需要Java8,而齐柏林飞艇不需要它。

简言之

如果您想在zeppelin branch-0.7上使用spark 2.2,请在此处修改并重新生成
使用jdk8作为spark解释器。

pn9klfpd

pn9klfpd2#

齐柏林飞艇0.7.2版本支持spark 2.1.0。

相关问题