我是新来的齐柏林飞艇,并试图设置齐柏林飞艇在我的系统。到目前为止,我已经完成了以下步骤:
从这里下载齐柏林飞艇
在我的系统环境变量中设置java\u home。
转到zeppelin-0.7.3-bin-all\bin并运行zeppelin.cmd
能够在空中看到齐柏林飞艇http://localhost:8090
当我想跑的时候 load data into table
程序提到齐柏林飞艇教程->基本功能(Spark)它抛出以下错误
java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398)
at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387)
at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491)
at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
在我的控制台(cmd)显示以下错误的同时,我可以在齐柏林飞艇用户界面的输出中看到上面提到的错误日志:
DEBUG [2018-01-11 10:55:30,059] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:206) - DEBUG [2018-01-11 10:55:30,059] ({pool-1-thread-3} Interpreter.java[getProperty]:165) - key: zeppelin.spark.concurrentSQL, value: false
WARN [2018-01-11 10:55:30,061] ({pool-2-thread-2} NotebookServer.java[afterStatusChange]:2064) - Job 20150210-015259_1403135953 is finished, status: ERROR, exception: null, result: %text java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398)
at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387)
at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491)
at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
我有什么遗漏或与spark有关吗?因为我假设齐柏林飞艇会处理spark,我们不需要设置spark。谢谢你的帮助!
2条答案
按热度按时间ubbxdtey1#
首先,我要确保spark正常运行。
你试过运行一个新的“Spark笔记本”。
创建新笔记本
选择spark作为默认解释器
只要写一段带“sc”的话
它试图初始化sparkcontext。当它工作,我们是好的,我们需要检查的选项,语法是在您使用的段落中使用。
如果没有运行,我会用以下变量检查/设置zeppelin-env.cmd:
星火之家
java 岛之家
hadoop\ conf\ dir(如果使用hadoop)
如果你没有在windows上安装spark,它就不能工作。
下载您喜欢使用的spark版本https://spark.apache.org/downloads.html
将其解压缩到您选择的文件夹中(例如,windows c:/hadoop/sparkversion)
如果所有这些步骤都不起作用,请告诉我输出和代码你试图运行。
比尔
下面的更新文章详细描述了如何在windows上安装齐柏林飞艇来运行教程。
https://hernandezpaul.wordpress.com/2016/11/14/apache-zeppelin-installation-on-windows-10/
我只是在我的windows机器上浏览了一下,效果很好。
5t7ly7z52#
我在hdp3.1和spark2.3上的zeppelin0.8也遇到了同样的问题,我认为问题出在重写库中,这些库已经存在于sparkinterepreter中。
该代码正在使用kafka directstream,但对于这个问题并不重要。
你看,我的评论和它的工作。