我需要帮助，因为我不知道jupyter笔记本内核在spark集群中是否可用。在我的地方Spark我用这个，我没有问题。我将此内核用于pyspark：https://github.com/anchormen/pyspark-jupyter-kernels我使用的是一个独立的spark集群，有三个节点，没有Yarn。敬礼。
pxy2qtax1#
您可以使用带有python内核的主ip独立连接到spark集群。
import pyspark sc = pyspark.SparkContext(master='spark://<public-ip>:7077', appName='<your_app_name>')
参考文献如何将jupyter笔记本连接到远程spark群集建立apachespark集群并与jupyter笔记本集成将应用程序从jupyter实验室部署到spark独立集群
1条答案
按热度按时间pxy2qtax1#
您可以使用带有python内核的主ip独立连接到spark集群。
参考文献
如何将jupyter笔记本连接到远程spark群集
建立apachespark集群并与jupyter笔记本集成
将应用程序从jupyter实验室部署到spark独立集群