容器标准输出到两个单独的els索引

rsaldnfx  于 2021-06-13  发布在  ElasticSearch
关注(0)|答案(1)|浏览(322)

我有一个容器化的应用程序,它将两类信息作为单行json写入stdout。第一类是诊断日志(err/warn等),第二类是内容访问日志(content\u id/user\u id等)。我打算运行一个filebeats sidecar来获取els的输出。我想在一个索引中获取诊断日志项,在另一个索引中获取内容访问日志。
我可以用指向同一个文件的多个输入运行filebeat,并配置每个输入上的include行来选取不同的行并将它们输出到正确的索引吗?有没有更好的办法?或者我根本不应该尝试这样做,也许我应该让容器化应用程序显式地将内容日志写入一个单独的文件?

mnowg1ta

mnowg1ta1#

你可以用logstash来做这个,但这可能是一个过度的杀伤力,没有必要。
你能用这个吗 dissect filebeat中的处理器从不同的日志行中分离出一些内容来区分它们?使用条件和 add_labels 根据需要设置一些具有预期索引名称的字段。
然后,您可以在elasticsearch输出中使用它来将索引写入不同的索引(例如 {[fields.log_type]} 在文档中)。

相关问题