我正在Kubernetes上创建一个spark集群,并遵循官方文档:https://spark.apache.org/docs/latest/running-on-kubernetes.html#using-kubernetes-volumes
如上所述,链接hostPath
是Kubernetes上Spark集群支持的卷挂载类型之一。
我已经使用kubeadm init
命令创建了一个集群,并使用spark-submit
工具提交了一个spark作业,该作业可按需创建驱动程序和执行器pod。
我需要从这个Spark应用程序中读取一些大文件,在这个概念验证阶段,hostPath
似乎是在集群上挂载这些文件的唯一现实选择。
如何在没有yaml部署文件的情况下在Kubernetes集群上创建hostPath
卷?因为我使用的是spark-submit
命令,所以我没有yaml配置文件。
尝试创建类型为hostPath
的yaml文件是无效选项。
是否有任何其他方法使用kubectl
创建一个hostPath
卷或任何其他选项与yaml配置文件?
1条答案
按热度按时间1bqhqjot1#
正如@david-maze提到的,
hostPath
很少是pod的好选择,因为我们不应该总是将它们调度到同一个节点。但是,如果是在本地Kubernetes集群上进行测试,则Here is a doc描述了如何创建hostPath PV以及如何使用PVC将其挂载到您的Spark Pod中。
基本上,这里是PV yaml
然后
这里是PVC yaml
然后
然后,使用部署资源中的pvc或使用pod清单