Logstash S3输出前缀-事件日期字段值

p3rjfoxz  于 2022-12-09  发布在  Logstash
关注(0)|答案(1)|浏览(141)

如何使用以下格式的事件字段值动态设置Logstash S3输出前缀:“%{+YYYY}/%{+MM}/%{+dd}/%{+HH}”?

input:
{"record_time":"2017-03-09T04:07:51.520Z"}

required s3 prefix: 
2017/03/09/04
a8jjtwal

a8jjtwal1#

可以使用grok匹配record_time以提取年、月、日、小时,然后将其转换为s3 prefix

grok {
  match => {
    "record_time" => "%{INT:year}-%{INT:month}-%{INT:day}T%{INT:hour}:%{GREEDYDATA}"
  }
}

mutate {
  # Create s3 prefix
  add_field => {
    "s3_prefix" => "%{year}/%{month}/%{day}/%{hour}"
  }

  # If you don't need separate values, remove them
  remove_field => ["year", "month", "day", "hour"]
}

相关问题