我们的数据管道中有5个管道，它们在以下基础上执行：管道1-管道4=每日基础管道5-月末。
我们正在考虑为管道5创建单独管道的选项，因为它不依赖于其他管道。是否有任何方法可以执行除pipe5之外的所有管道，比如我们在oozie中使用的决策变量，它可以成功地忽略pipe5的执行并完成管道，而不会出现任何“error”/“waiting on dependencies”的状态？
我们的数据管道中有5个管道，它们在以下基础上执行：管道1-管道4=每日基础管道5-月末。
我们正在考虑为管道5创建单独管道的选项，因为它不依赖于其他管道。是否有任何方法可以执行除pipe5之外的所有管道，比如我们在oozie中使用的决策变量，它可以成功地忽略pipe5的执行并完成管道，而不会出现任何“error”/“waiting on dependencies”的状态？
1条答案
按热度按时间bmp9r5qi1#
最好创建多个管道并将它们设置在不同的时间表上。如果您想增加一些趣味性，可以使用cloudwatch调度和aws lambda以类似cron的方式来调度管道的创建/删除。您还可以使用aws step函数来定义每个组件的工作流。