dataproc:spark在集群模式下从笔记本

smtd7mpg  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(522)

我想知道,如果dataproc提供的可能性,使用星火在集群模式下从一个jupyter笔记本?
如果是,它是如何工作的?有livyapi+sparkmagic或者其他解决方案吗?
谢谢!

neskvpey

neskvpey1#

dataproc不提供这种现成的功能,但是您可以使用livy初始化操作来设置它。
也就是说,推荐的将jupyter与dataproc结合使用的方法是通过dataproc hub生成单用户dataproc集群来承载jupyter和jupyterlab笔记本环境。

相关问题