我有:
apache spark:2.4.4版
jupyterhub:1.1.0版
舵图版本:0.9.0
k8s:1.15
我用官方文件在k8s上建立jupyterhub:https://zero-to-jupyterhub.readthedocs.io/
我使用官方的spark图像来做一些本地工作:jupyter/all spark-notebook:latest
spark在本地模式下运行良好。
但是我想使用jupyterhub笔记本在远程(自制的)apachespark集群上做一些工作(用k8s作为编排器)。
我已经试过Apache齐柏林飞艇了,效果不错!但我想对jupyterhub做同样的事。
我该怎么做?
1条答案
按热度按时间vlju58qv1#
我理解你的痛苦。我花了很多时间来创建spark cluster+jupyter服务器。
尝试使用我的docker-compose.yaml。
对于get jupyter令牌运行:
从127.0.0.1开始复制url include token并放入浏览器。将端口更改为7777。
您将看到空的jupyter页面。创建新的笔记本并运行图片上显示的单元格
享受使用Sparkjupyter。。。
希望对你有帮助。