齐柏林飞艇+spark+kubernetes:让齐柏林飞艇作业在现有的spark集群上运行

ljo96ir5  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(521)

在k8s集群中。如何配置齐柏林飞艇在现有的spark集群中运行spark作业,而不是旋转一个新的吊舱?
我有一个k8s集群正在运行,我想和齐柏林飞艇一起运行spark。
spark使用官方的bitnami/spark Helm 图(v3.0.0)部署。我有一个主人和两个工人豆荚运行良好,一切都很好。
齐柏林飞艇与 zeppelin-server.yaml 来自官方的Apache齐柏林飞艇github。
我已经建立了自己的齐柏林飞艇容器没有太多修改从Apache/zeppelin:0.9.0..
短伪dockerfile:

FROM bitnami/spark:3.0.0 AS spark 
FROM apache/zeppelin:0.9-0 AS Zeppelin 
COPY --from spark /opt/btinami/spark/ /opt/bitnami/spark  
RUN Install kubectl 
END

我修改了 zeppelin-server.yaml 有点(image,imagepullsecret,将spark master设置为spark master的无头服务dns)
现在我希望我的齐柏林飞艇工作在我现有的星火星团上运行——但没有成功。
当我提交齐柏林飞艇的作业(为spark解释器)时,齐柏林飞艇启动了一个新的spark吊舱,并且只与这个吊舱一起工作。spark解释器的设置应该是这样的。已设置spark master url( spark://\<master-url\>:\<master-port\> ),Spark回家。
虽然这是一种甜蜜的行为,但这不是我想要的。
我想要的(我的问题是)是:我希望我的齐柏林飞艇吊舱将spark作业提交给现有的集群,而不是启动一个新的吊舱。我很确定一定有一些 config/env/whatever 我必须设置,但我根本找不到它。
所以,我想问:有没有人知道如何在现有的星火星团上运行齐柏林飞艇的星火任务?我认为设置Spark大师应该做的工作。。。
向鲍勃问好

roejwanj

roejwanj1#

过了一会儿再回答我自己。。。
对于遇到同样问题的人:
进入spark解释器设置
(可选,如果尚未获得属性)按“编辑”,向下滚动并添加属性spark\u submit\u选项
编辑spark提交选项值并添加“--master spark://<spark master的端点>”
保存设置并完成。。。
这让我大失所望,因为已经有一个选项来设置Spark大师本身。
什么解决了问题进入Spark主两次。
在键“master”下
上面描述的编辑到spark提交选项。

相关问题