如何下调spark版本？其他的解决方案是什么？我必须使用spark会话将我的配置单元表连接到spark。但spark版本不受齐柏林飞艇的支持。
eeq64g8w1#
这里有两个原因。[1] 齐柏林飞艇0.7.2将spark 2.2+标记为不支持的版本。https://github.com/apache/zeppelin/blob/v0.7.2/spark/src/main/java/org/apache/zeppelin/spark/sparkversion.java#l40
public static final SparkVersion UNSUPPORTED_FUTURE_VERSION = SPARK_2_2_0;
[2] 即使更改const并重新构建，也可能无法使用spark 2.2运行zeppelin 0.7.2https://spark.apache.org/releases/spark-release-2-2-0.htmlspark放弃了对Java7的支持，Zeppelin0.7.2是用JDK7构建的。所以你需要用jdk8重建它。您可以使用的一个解决方法是，指定 JAVA_HOME 在spark解释器（对于2.2）中https://github.com/apache/zeppelin/pull/2486#issuecomment-314954959这是因为只有spark解释器（2.2版）需要Java8，而齐柏林飞艇不需要它。
JAVA_HOME
如果您想在zeppelin branch-0.7上使用spark 2.2，请在此处修改并重新生成使用jdk8作为spark解释器。
pn9klfpd2#
齐柏林飞艇0.7.2版本支持spark 2.1.0。
2条答案
按热度按时间eeq64g8w1#
这里有两个原因。
[1] 齐柏林飞艇0.7.2将spark 2.2+标记为不支持的版本。
https://github.com/apache/zeppelin/blob/v0.7.2/spark/src/main/java/org/apache/zeppelin/spark/sparkversion.java#l40
[2] 即使更改const并重新构建，也可能无法使用spark 2.2运行zeppelin 0.7.2
https://spark.apache.org/releases/spark-release-2-2-0.html
spark放弃了对Java7的支持，Zeppelin0.7.2是用JDK7构建的。所以你需要用jdk8重建它。
您可以使用的一个解决方法是，指定
JAVA_HOME在spark解释器（对于2.2）中https://github.com/apache/zeppelin/pull/2486#issuecomment-314954959
这是因为只有spark解释器（2.2版）需要Java8，而齐柏林飞艇不需要它。
简言之
如果您想在zeppelin branch-0.7上使用spark 2.2，请在此处修改并重新生成
使用jdk8作为spark解释器。
pn9klfpd2#
齐柏林飞艇0.7.2版本支持spark 2.1.0。