为什么flink中的函数需要序列化?

h7appiyu  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(432)

考虑一下 FlatMapFunction 在Flink。它的任何实现都必须是可序列化的。
我在想为什么会这样,有人能解释吗?是否所有这些操作符示例都是在作业管理器上创建的,而不是序列化并发送到任务管理器?

jv2fixgn

jv2fixgn1#

是否所有这些操作符示例都是在作业管理器上创建的,而不是序列化并发送到任务管理器?
你已经回答了你的问题:)这正是发生的事情。
值得一提的是,它不仅用于分布式作业,还用于容错。
系统从检查点恢复数据,然后重新部署整个分布式数据流,并为每个操作员提供作为检查点一部分的快照状态。

相关问题