apache mesos工作流-事件驱动调度程序

ojsjcaue  于 2021-06-21  发布在  Mesos
关注(0)|答案(1)|浏览(348)

我们目前正在使用apachemesos和marathon和chronos来调度长时间运行和批处理过程。
如果我们能像oozie那样创建更复杂的工作流,那就太好了。例如,当某个文件出现在某个位置时,或者当某个应用程序完成或调用某个api时,踢作业。
虽然我们似乎可以用marathon/chronos或singularity实现这一点,但似乎没有现成的接口。

ax6ht2ek

ax6ht2ek1#

你可以用chronos' /scheduler/dependency 端点指定“在运行此作业之前必须至少运行一次的所有作业”。在每个chronos作业上执行此操作,可以构建任意复杂的工作流DAG。
https://airbnb.github.io/chronos/#adding%20a%20dependent%20job工作
chronos目前仅基于时间或依赖触发器安排作业。其他事件(如文件更新、git推送或电子邮件/tweet)可以建模为等待x作业,然后您的目标作业将依赖于该作业。

相关问题