我以前使用的是storm,我需要更多的批处理功能,所以我在storm中搜索批处理。我找到了三叉戟,它可以实时进行微量配料。
但不知何故,我无法弄清楚三叉戟如何处理微批处理(流、批大小、批间隔),以知道它真的有我需要的。
我想做的是收集/保存喷口在一个时间间隔内发出的元组,并用另一个时间间隔将它们重新发出到下游组件/螺栓/函数(例如,喷口每秒发出一个元组,下一个trident函数将收集/保存元组,并每分钟向下一个函数发出50个元组。)
有人能指导我如何在这种情况下使用三叉戟吗?或任何其他使用storm功能的适用方式?
1条答案
按热度按时间5cnsuln71#
好问题!但遗憾的是,这种微量配料并没有从三叉戟的盒子里得到支持。
但您可以尝试实现自己的频率驱动的微批处理。类似这样的 backbone 示例:
资料来源:http://hortonworks.com/blog/apache-storm-design-pattern-micro-batching/ 在Storm中用三叉戟的记号元组