我想在我的mesos集群上运行多个spark作业，并让所有spark作业共享相同的spark框架。这可能吗？我试过运行mesosclusterdispatcher并将spark作业连接到dispatcher，但是每个spark作业都会启动自己的“spark框架”（我试过同时运行客户机模式和集群模式）。这是预期的行为吗？有没有可能在多个spark工作中共享相同的spark框架？
koaltpgm1#
这是正常的，也是预期的行为。据我所知，在mesos中，sparkdispatcher负责为spark驱动程序分配资源，spark驱动程序将作为一个框架。一旦分配了spark驱动程序，它就负责与mesos对话并接受分配任务执行者的提议。
1条答案
按热度按时间koaltpgm1#
这是正常的，也是预期的行为。
据我所知，在mesos中，sparkdispatcher负责为spark驱动程序分配资源，spark驱动程序将作为一个框架。一旦分配了spark驱动程序，它就负责与mesos对话并接受分配任务执行者的提议。