1-我创建了一个dataproc集群，其中docker作为初始化操作

gs://dataproc-initialization-actions/docker/docker.sh

根据：https://github.com/googleclouddataproc/initialization-actions/tree/master/docker docker应该在主节点和工作节点中配置
2-我在主服务器上安装了ssh，在那里安装了docker compose并克隆了我的应用程序。我的应用程序是一个flask（python）服务器，它根据api请求处理一些数据并发回响应。
因为我的逻辑在docker容器中，所以我想从容器中调用dataproc master。我已经在我的容器中安装了pyspark，但是我不确定如何从我的docker容器中运行pyspark代码，这些容器可以由主机上的dataproc master+workers执行？