k8s上jupyterhub笔记本上的apachespark远程集群

b5lpy0ml  于 2021-05-16  发布在  Spark
关注(0)|答案(1)|浏览(555)

我有:
apache spark:2.4.4版
jupyterhub:1.1.0版
舵图版本:0.9.0
k8s:1.15
我用官方文件在k8s上建立jupyterhub:https://zero-to-jupyterhub.readthedocs.io/
我使用官方的spark图像来做一些本地工作:jupyter/all spark-notebook:latest
spark在本地模式下运行良好。
但是我想使用jupyterhub笔记本在远程(自制的)apachespark集群上做一些工作(用k8s作为编排器)。
我已经试过Apache齐柏林飞艇了,效果不错!但我想对jupyterhub做同样的事。
我该怎么做?

vlju58qv

vlju58qv1#

我理解你的痛苦。我花了很多时间来创建spark cluster+jupyter服务器。
尝试使用我的docker-compose.yaml。

docker-compose up -d

对于get jupyter令牌运行:

docker-compose logs jupyter

从127.0.0.1开始复制url include token并放入浏览器。将端口更改为7777。
您将看到空的jupyter页面。创建新的笔记本并运行图片上显示的单元格

享受使用Sparkjupyter。。。
希望对你有帮助。

相关问题