听起来您可能对持久队列感兴趣。
我想强调一下其中的一部分，这似乎是极端的
为了防止异常终止期间的数据丢失，logstash有一个持久队列特性，它将消息队列存储在磁盘上。持久队列提供了日志存储中数据的持久性。
持久队列对于需要大缓冲区的日志存储部署也很有用。您可以启用持久队列来缓冲磁盘上的事件并删除消息代理，而不是部署和管理消息代理（如redis、rabbitmq或apache kafka）来简化缓冲发布订户模型
但是，我假设一旦队列已满，则消息可能会被丢弃。
另一种方法是从图片中删除logstash，并使用kafka connect框架将外部系统连接到kafka，使用filebeat/fluentbit监视文件本地更改，使用metricbeat/telegraf监视系统度量。