考虑一下 FlatMapFunction 在Flink。它的任何实现都必须是可序列化的。我在想为什么会这样,有人能解释吗?是否所有这些操作符示例都是在作业管理器上创建的,而不是序列化并发送到任务管理器?
FlatMapFunction
jv2fixgn1#
是否所有这些操作符示例都是在作业管理器上创建的,而不是序列化并发送到任务管理器?你已经回答了你的问题:)这正是发生的事情。值得一提的是,它不仅用于分布式作业,还用于容错。系统从检查点恢复数据,然后重新部署整个分布式数据流,并为每个操作员提供作为检查点一部分的快照状态。
1条答案
按热度按时间jv2fixgn1#
是否所有这些操作符示例都是在作业管理器上创建的,而不是序列化并发送到任务管理器?
你已经回答了你的问题:)这正是发生的事情。
值得一提的是,它不仅用于分布式作业,还用于容错。
系统从检查点恢复数据,然后重新部署整个分布式数据流,并为每个操作员提供作为检查点一部分的快照状态。