有很多问题比较Flink与Spark流,Flink与风暴和风暴与苍鹭。
这个问题的根源在于,apache flink和twitter heron都是真正的流处理框架(而不是像spark streaming那样的微批处理)。storm去年已经被twitter停用,他们改用了heron(基本上是storm的翻版)。
slim baltagi对flink和flink vs spark进行了精彩的演示:https://www.youtube.com/watch?v=g77m6ou_kfa
ilya ganelin在各种流媒体框架上的出色研究:https://www.youtube.com/watch?v=kkjhyblupvs
关于flink和storm的有趣想法:flink和storm的主要区别是什么?
但是我还没有看到新风暴/苍鹭和Apache·Flink的任何比较。
这两个项目都非常年轻,都支持使用以前编写的storm应用程序和许多其他东西。flink更适合hadoop生态系统,heron更适合基于twitter的生态系统堆栈。
有什么想法吗?
2条答案
按热度按时间iibxawm41#
引用文章中比较apache flink和apache storm的所有观点也适用于twitter的heron。heron提供了与storm完全相同的语义和功能。heron最简单的理解是对storm的重新实现,它更符合twitter的操作需求。
5hcedyr02#
heron,由twitter开发的流处理引擎,于2018年2月26日捐赠给apache。根据twitter,在所有实验中,吞吐量都比storm高10-14倍,同样的延迟比storm的延迟低5-15倍。
除此之外,它还提供吞吐量和延迟
易于调试(每个任务都在进程级隔离中运行)。
处理尖峰和拥塞(使用背压机制)。
完全向后兼容的风暴,这意味着只有pom文件的变化需要。
https://blog.twitter.com/engineering/en_us/a/2015/flying-faster-with-twitter-heron.htmlhttpshttp://apache.github.io/incubator-heron/