我想建立一个自定义的docker映像,可以与spark的spark.mess.executor.docker.image配置选项一起使用。此图像将包含私人信息,因此需要保存在私人注册表中。这可能吗?在spark submit命令中,我没有看到任何文档化的方法来指定登录凭据。
44u64gxh1#
似乎我应该将docker凭证文件的url指定为spark.mesos.uris spark submit选项的一部分。
1条答案
按热度按时间44u64gxh1#
似乎我应该将docker凭证文件的url指定为spark.mesos.uris spark submit选项的一部分。