我有一个mesos dcos集群运行在aws上，通过安装spark dcos package install spark 命令。我能够使用dcos cli成功执行spark作业： dcos spark run ... 现在我想从mesos集群中运行的docker容器执行spark作业，但是我不太确定如何到达spark的运行示例。这个想法是让一个docker容器执行 spark-submit 命令将作业提交到spark部署，而不是使用dcos cli从集群外部执行同一作业。
当前的文档似乎只关注通过dcos cli运行spark—是否有任何方法可以从集群内运行的另一个应用程序访问spark部署？
1条答案
按热度按时间uemypmqf1#
dcos物联网演示尝试类似的东西。https://github.com/amollenkopf/dcos-iot-demo
这家伙运行一个spark docker和一个马拉松应用程序中的spark提交。检查以下描述：https://github.com/amollenkopf/dcos-iot-demo/blob/master/spatiotemporal-esri-analytics/rat01.json