apache flume假脱机目录重复事件

zc0qhyus  于 2021-06-03  发布在  Flume
关注(0)|答案(1)|浏览(322)

apacheflume用户指南说,在某些情况下,假脱机目录源可能会复制事件。以下是docs中的一句话:“尽管该源具有可靠性保证,但如果某些下游故障发生,仍然存在事件可能重复的情况。”
那些是什么案子?特别是如果我们使用像文件通道这样的持久通道,我看不出有任何理由重复事件发生?

oknwwptz

oknwwptz1#

您将文件通道描述为持久的。你没说只有一次送货。
flume保证至少交付一次。失败时将重新发送批处理。这可能导致重复事件。
示例:节点1正在向节点2发送事件。所有事件都已发送,节点2确认收到。然而。网络状况导致消息丢失。节点2已存储批,但节点1将重新发送该批。因此,重复事件。

相关问题