我可以将Google Dataproc中的spark master暴露给Cloud Run上运行的另一个服务吗?

ecbunoof  于 2023-10-23  发布在  Apache
关注(0)|答案(1)|浏览(125)

我将我的应用程序部署为Cloud Run服务,其功能之一是使用spark://<spark-master-url>:7077形式的URL将spark作业提交给spark master,可以适当配置。
我已经成功地使用Dataproc设置了一个spark集群,但显然spark master没有公开,也没有像上面这样的URL可以使用。
是否有方法将spark master暴露给我的Cloud Run应用程序,以便它可以向其发送作业?任何帮助都将不胜感激。

相关问题