有没有什么方法可以像我在spark中一样在flink中使用broadcast join。我正在处理连接，但是数据很大，所以我需要广播连接。谢谢您
pexxcrt21#
flink不像spark那样提供广播连接。使用 BroadcastProcessFunction ，但我想知道这是否真的合适。只有当两个流中的一个相当小时，广播连接才有意义，否则键分区连接更有意义。要实现这一点，广播较小的模式流并将其连接到事件流。在broadcastprocessfunction的processbroadcastelement方法中，存储新模式，并在processelement方法中查找相关模式并将其与正在处理的事件相结合。
BroadcastProcessFunction
1条答案
按热度按时间pexxcrt21#
flink不像spark那样提供广播连接。使用
BroadcastProcessFunction，但我想知道这是否真的合适。只有当两个流中的一个相当小时，广播连接才有意义，否则键分区连接更有意义。要实现这一点，广播较小的模式流并将其连接到事件流。在broadcastprocessfunction的processbroadcastelement方法中，存储新模式，并在processelement方法中查找相关模式并将其与正在处理的事件相结合。