(zeppelin+livy)sparkui.appuiaddress(),一定是出了什么问题

wxclj1h5  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(278)

我试着用齐柏林飞艇来配置livy如下:https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html
但是当我跑步时:

%livy.spark
sc.version

我得到以下错误:

java.lang.RuntimeException: No result can be extracted from 'java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()', something must be wrong

我使用齐柏林飞艇0.7.3、spark 2.2.1和livy 0.4.0。spark running on yarn(hadoop 2.9.0)。这是香草安装,我不使用像cloudera/hdp这样的发行版。所有这些软件都在一台服务器上运行。
我可以在sparkshell中用--master warn运行org.apache.spark.examples.sparkpi,没有任何问题。所以我确认spark在Yarn上运行良好。
任何帮助都将不胜感激。
谢谢,尤萨塔。

im9ewurl

im9ewurl1#

此问题源于spark 2.2中的方法折旧。appuiaddress在spark 2.2中不再存在。
正如你在这篇公关中看到的https://github.com/apache/zeppelin/pull/2231. 这个问题已经解决了。
不知何故你还是遇到了问题。我认为,要么降低spark的评级,要么使用更新版本的齐柏林飞艇,都可以解决这个问题。

相关问题