hazelcast jet和apache flink有什么区别

hfsqlsce  于 2021-06-25  发布在  Flink
关注(0)|答案(2)|浏览(832)

更具体地说,hazelcast jet解决了哪些flink无法解决的用例(同样好),反之亦然?

7lrncoxx

7lrncoxx1#

在我看来,flink似乎提供了一些非常有用的流媒体功能,而hatecastjet还没有提供这些功能。
不同的灵活窗口操作,它还可以处理无序和迟到的项目。
集群的容错和交付保证
除此之外,它目前似乎也更为稳定和知名。例如,您可以使用它作为apachebeam的运行时,然后在云上的google数据流和您自己的部署之间轻松迁移。所以我现在会用flink。
最好的

uoifb46i

uoifb46i2#

注:我属于hazelcast jet的核心工程团队。
我要说的是,hazelcast jet的主要优势不在于提供一种全新的计算模型,而在于为基于dag的分布式计算领域带来hazelcast所知的同等程度的便利性。
如果您当前有一个java应用程序在集群中运行,那么添加jet将非常简单:添加maven依赖项并编写一行代码以在本地成员上启动jet示例。示例将自我发现以形成自己的集群,您现在可以将作业提交给它。
如果您想要一个专用的分布式计算集群,可以将分发zip下载到集群计算机上。jet对最流行的云环境具有本机支持,允许您开始自我发现节点。然后可以使用jet客户机连接到集群。
不用说,jet使使用hazelcast非常方便 IMap 或者 IList 作为数据源。喷流团可以直接承载hazelcast结构;这样,您就可以从数据局部性中获益,并且可以在没有网络流量的情况下获得数据。另一方面,数据源的选择是完全不受限制的,并且有一个公共api专门用于实现快速、任意分区的定制数据源。
jet解决了无限流处理的问题,如在基于时间的窗口上聚合、处理重新排序的事件以及对集群拓扑结构中的更改(例如,单个jet节点的故障)的恢复能力,同时保持了精确一次的处理保证。
jet的主要编程范式是pipelineapi,它与 java.util.stream 但是适应了分布式计算的具体情况(lambda序列化和其他关注点)。
pipeline api建立在一个较低级别的基于dag的模型之上,该模型也作为公共api公开。

相关问题