apache齐柏林飞艇抛出nullpointerexception错误

jvlzgdj9  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(459)

我是新来的齐柏林飞艇,并试图设置齐柏林飞艇在我的系统。到目前为止,我已经完成了以下步骤:
从这里下载齐柏林飞艇
在我的系统环境变量中设置java\u home。
转到zeppelin-0.7.3-bin-all\bin并运行zeppelin.cmd
能够在空中看到齐柏林飞艇http://localhost:8090
当我想跑的时候 load data into table 程序提到齐柏林飞艇教程->基本功能(Spark)它抛出以下错误

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

在我的控制台(cmd)显示以下错误的同时,我可以在齐柏林飞艇用户界面的输出中看到上面提到的错误日志:

DEBUG [2018-01-11 10:55:30,059] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:206) - DEBUG [2018-01-11 10:55:30,059] ({pool-1-thread-3} Interpreter.java[getProperty]:165) - key: zeppelin.spark.concurrentSQL, value: false
 WARN [2018-01-11 10:55:30,061] ({pool-2-thread-2} NotebookServer.java[afterStatusChange]:2064) - Job 20150210-015259_1403135953 is finished, status: ERROR, exception: null, result: %text java.lang.NullPointerException
        at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
        at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
        at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398)
        at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387)
        at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
        at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843)
        at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
        at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491)
        at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
        at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

我有什么遗漏或与spark有关吗?因为我假设齐柏林飞艇会处理spark,我们不需要设置spark。谢谢你的帮助!

ubbxdtey

ubbxdtey1#

首先,我要确保spark正常运行。
你试过运行一个新的“Spark笔记本”。
创建新笔记本
选择spark作为默认解释器
只要写一段带“sc”的话
它试图初始化sparkcontext。当它工作,我们是好的,我们需要检查的选项,语法是在您使用的段落中使用。
如果没有运行,我会用以下变量检查/设置zeppelin-env.cmd:
星火之家
java 岛之家
hadoop\ conf\ dir(如果使用hadoop)
如果你没有在windows上安装spark,它就不能工作。
下载您喜欢使用的spark版本https://spark.apache.org/downloads.html
将其解压缩到您选择的文件夹中(例如,windows c:/hadoop/sparkversion)
如果所有这些步骤都不起作用,请告诉我输出和代码你试图运行。
比尔
下面的更新文章详细描述了如何在windows上安装齐柏林飞艇来运行教程。
https://hernandezpaul.wordpress.com/2016/11/14/apache-zeppelin-installation-on-windows-10/
我只是在我的windows机器上浏览了一下,效果很好。

5t7ly7z5

5t7ly7z52#

我在hdp3.1和spark2.3上的zeppelin0.8也遇到了同样的问题,我认为问题出在重写库中,这些库已经存在于sparkinterepreter中。
该代码正在使用kafka directstream,但对于这个问题并不重要。
你看,我的评论和它的工作。

%spark2.dep
z.reset()
z.addRepo("MavenCentral").url("https://mvnrepository.com/")
z.load("org.apache.spark:spark-streaming-kafka-0-10_2.11:2.3.0")
z.load("org.apache.kafka:kafka-clients:2.3.0")
//z.load("org.apache.spark:spark-streaming_2.11:2.3.0")
//z.load("org.apache.spark:spark-core_2.11:2.3.2")
//z.load("org.apache.spark:spark-sql_2.11:2.3.2")

相关问题