我将我的应用程序部署为Cloud Run服务,其功能之一是使用spark://<spark-master-url>:7077
形式的URL将spark作业提交给spark master,可以适当配置。
我已经成功地使用Dataproc设置了一个spark集群,但显然spark master没有公开,也没有像上面这样的URL可以使用。
是否有方法将spark master暴露给我的Cloud Run应用程序,以便它可以向其发送作业?任何帮助都将不胜感激。
我将我的应用程序部署为Cloud Run服务,其功能之一是使用spark://<spark-master-url>:7077
形式的URL将spark作业提交给spark master,可以适当配置。
我已经成功地使用Dataproc设置了一个spark集群,但显然spark master没有公开,也没有像上面这样的URL可以使用。
是否有方法将spark master暴露给我的Cloud Run应用程序,以便它可以向其发送作业?任何帮助都将不胜感激。
1条答案
按热度按时间vktxenjb1#
查看启用组件网关是否能解决此问题。https://cloud.google.com/dataproc/docs/concepts/accessing/dataproc-gateways