我们目前正在使用apachemesos和marathon和chronos来调度长时间运行和批处理过程。如果我们能像oozie那样创建更复杂的工作流,那就太好了。例如,当某个文件出现在某个位置时,或者当某个应用程序完成或调用某个api时,踢作业。虽然我们似乎可以用marathon/chronos或singularity实现这一点,但似乎没有现成的接口。
ax6ht2ek1#
你可以用chronos' /scheduler/dependency 端点指定“在运行此作业之前必须至少运行一次的所有作业”。在每个chronos作业上执行此操作,可以构建任意复杂的工作流DAG。https://airbnb.github.io/chronos/#adding%20a%20dependent%20job工作chronos目前仅基于时间或依赖触发器安排作业。其他事件(如文件更新、git推送或电子邮件/tweet)可以建模为等待x作业,然后您的目标作业将依赖于该作业。
/scheduler/dependency
1条答案
按热度按时间ax6ht2ek1#
你可以用chronos'
/scheduler/dependency
端点指定“在运行此作业之前必须至少运行一次的所有作业”。在每个chronos作业上执行此操作,可以构建任意复杂的工作流DAG。https://airbnb.github.io/chronos/#adding%20a%20dependent%20job工作
chronos目前仅基于时间或依赖触发器安排作业。其他事件(如文件更新、git推送或电子邮件/tweet)可以建模为等待x作业,然后您的目标作业将依赖于该作业。