ApacheFlink:在运行时从外部更改状态参数

sz81bmfz  于 2021-06-25  发布在  Flink
关注(0)|答案(1)|浏览(329)

我目前正在处理一个流式ml管道,需要一次事件处理。我对flink很感兴趣,但是我想知道是否有任何方法可以从外部改变/更新执行状态。
ml算法的状态由flink保持,这没关系,但是考虑到我想在运行时更改一些执行参数,我找不到可行的解决方案。基本上,使用一个外部webapp(in-go)来调整参数,更改应该反映在flink中,以用于后续事件。
我想了想:
带有pub/sub的共享redis(因为对每个事件的轮询会降低吞吐量)
用go:d编写自定义解决方案
...
状态将由键保存,与来自Kafka的多个事件流之一的源相关。
谢谢

qyzbxkaa

qyzbxkaa1#

你需要一个 CoMapFunction / CoFlatMapFunction 实现你所描述的目标。其中一个输入是正常数据输入,另一个输入接收状态更改命令。这可能是最容易通过Kafka专门的主题摄取。

相关问题