我们正在开发一个流处理服务,这是来自克尼斯Flink。
服务将需要调用几个外部api来丰富数据流,因此在我们的示例中将使用async/ioapi。
如果出现任何异常,我们希望将事件捕获到接收器,并有选择地将消息重放到flink以重试。
我们可以控制动觉,动觉允许重放信息长达7天,延长数据保留时间,但不是选择性的,我们希望保留更长的时间
我们正在考虑将异常流的边输出和保存到单独的接收器。是否有一种机制可以用最少的手动工作将数据从接收器拉到动觉?我们还没有决定用什么Flume。有没有更好的解决方案或建议?
暂无答案!
目前还没有任何答案,快来回答吧!