我有一个spark驱动程序在客户端模式下提交给mesos集群（具有高度可用的mesos主控程序）（请参阅下面的内容） client 部署模式）。我也想在ha模式下运行spark驱动程序。怎样？我可以为这个实现我自己的实现，但是现在寻找任何可用的东西。
client
uajslkp61#
热释光；dr使用 cluster 部署模式 --supervise ，例如。 spark-submit --deploy-mode cluster --supervise 有很强的Spark驱动力 client 模式不可能如引用文件所述：在客户机模式下，直接在客户机上启动spark mesos框架并等待驱动程序输出。您必须以某种方式监视客户机上的进程，并检查其退出代码。一个更安全的解决方案是让mesos做它的工作。你应该使用 cluster 部署模式，确保驱动程序运行（并在发生故障时重新启动）。请参阅“群集模式”一节：mesos上的spark还支持集群模式，即在集群中启动驱动程序，客户端可以从mesoswebui中找到驱动程序的结果。
cluster
--supervise
spark-submit --deploy-mode cluster --supervise
1条答案
按热度按时间uajslkp61#
热释光；dr使用
cluster部署模式--supervise，例如。spark-submit --deploy-mode cluster --supervise有很强的Spark驱动力client模式不可能如引用文件所述：在客户机模式下，直接在客户机上启动spark mesos框架并等待驱动程序输出。
您必须以某种方式监视客户机上的进程，并检查其退出代码。
一个更安全的解决方案是让mesos做它的工作。你应该使用
cluster部署模式，确保驱动程序运行（并在发生故障时重新启动）。请参阅“群集模式”一节：mesos上的spark还支持集群模式，即在集群中启动驱动程序，客户端可以从mesoswebui中找到驱动程序的结果。