我目前正在处理一个流式ml管道,需要一次事件处理。我对flink很感兴趣,但是我想知道是否有任何方法可以从外部改变/更新执行状态。
ml算法的状态由flink保持,这没关系,但是考虑到我想在运行时更改一些执行参数,我找不到可行的解决方案。基本上,使用一个外部webapp(in-go)来调整参数,更改应该反映在flink中,以用于后续事件。
我想了想:
带有pub/sub的共享redis(因为对每个事件的轮询会降低吞吐量)
用go:d编写自定义解决方案
...
状态将由键保存,与来自Kafka的多个事件流之一的源相关。
谢谢
1条答案
按热度按时间qyzbxkaa1#
你需要一个
CoMapFunction
/CoFlatMapFunction
实现你所描述的目标。其中一个输入是正常数据输入,另一个输入接收状态更改命令。这可能是最容易通过Kafka专门的主题摄取。