vs代码jupyter扩展:在spark集群上运行我的笔记本?

oxf4rvwz  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(288)

我是一个极端的初学者,我喜欢编写python代码使用jupyter扩展的vs代码。
我最近开始使用azuredatabricks,我的笔记本似乎运行在远程spark集群上。
我希望能够有相同的经验,作为jupyter扩展的vs代码,同时运行我的笔记本上远程Spark集群。
有没有一种方法可以让我用其他类型的Spark团来做3(理想情况下,我想用任意的Spark簇来实现这一点。)
问题4取决于前提1-3,前提1-3可能是错误的或误导性的。
我可能解释得不对。我想我正在vs代码中寻找类似于jupyterlab集成为jupyterlab所做的事情:
另一方面,jupyterlab集成将笔记本保留在本地,但如果选择了远程内核,则在远程集群上运行所有代码。这使您的本地jupyterlab能够在databricks维护的远程环境上运行单节点数据科学笔记本(使用pandas、sciket learn等),或者在远程databricks gpu机器上运行深度学习代码。
但是jupyterlab集成似乎部分依赖于ssh,所以也许有一种方法可以通过ssh在jupyterlab之外实现部分功能?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题