目前我有一个mesos集群，启用了docker容器。我使用mesos docker支持在集群上运行spark框架。我想从chronos安排一个spark提交作业。你能告诉我做这件事的步骤或最好的方法吗。我是相当新的mesos和我不知道chronos将如何找到Spark提交命令提交申请。
0vvn1miw1#
您可以将应用程序与spark分发一起打包到docker容器中，并在chronos中创建docker作业：http://mesos.github.io/chronos/docs/api.html#adding- Docker 的工作例如，向chronos rest api发送post请求，如下所示：
curl -L -H 'Content-Type: application/json' -X POST chronos-node:8080/scheduler/iso8601 -d ' { "schedule": "R/2016-04-15T12:00:00Z/PT2M", "name": "spark-submit-job", "container": { "type": "DOCKER", "image": "my/sparksubmitapp", "network": "BRIDGE", "forcePullImage": true }, "cpus": "0.5", "mem": "1024", "uris": [], "command": "/path/to/spark/bin/spark-submit --class com.my.app.Main myApp.jar" }'
1条答案
按热度按时间0vvn1miw1#
您可以将应用程序与spark分发一起打包到docker容器中，并在chronos中创建docker作业：
http://mesos.github.io/chronos/docs/api.html#adding- Docker 的工作
例如，向chronos rest api发送post请求，如下所示：