以ceph为持久存储器的flink

xxhby3vn  于 2021-06-25  发布在  Flink
关注(0)|答案(1)|浏览(781)

flink文件表明ceph可以用作状态的持久存储。https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/stream/checkpointing.html
考虑到ceph是一个事务数据库,它不会对flink的性能产生不利影响吗?

jxct1oxe

jxct1oxe1#

ceph将自己描述为一个“统一的分布式存储系统”,并提供了一个网络文件系统api。因此,它应该与flink的状态后端无缝地协作,后者将检查点持久化到远程文件系统。
我不知道有人使用ceph(hdfs和s3更常用),也没有关于性能的信息。但是,请注意,flink能够异步写入检查点,因此存储系统的性能不会影响flink应用程序的处理速度。但是,它可能会限制执行检查点的时间间隔。
更新:(2018年2月)我注意到有多个用户在flink的用户邮件列表上报告说,他们正在将ceph与flink一起使用。
更新2:flink可以很好地使用s3协议,两个(presto和hadoop)flink的s3文件系统插件都可以很好地使用它。

相关问题