elasticsearch fluentbit -从导出的日志元数据中排除特定的kubernetes注解

332nm8kg  于 2022-11-02  发布在  ElasticSearch
关注(0)|答案(1)|浏览(124)

我有一些pod包含一个很长的注解值。我觉得这会导致fluentbit试图将日志导出到elasticsearch时出现问题。我不需要将这个特定的注解与日志元数据一起导出。我已经尝试过通过关闭fluentbit kubernetses过滤器中的注解来阻止此注解被导出,如下所示:

[FILTER]
            Name                kubernetes
            Match               kube.*
            Merge_Log           On
            Keep_Log            Off
            K8S-Logging.Parser  On
            K8S-Logging.Exclude On
            Annotations         Off

但是,这会导致其他问题,因为我们需要过滤器删除的其他一些注解。因此,我的问题是,是否有办法从元数据中排除单个/特定的注解,而不是排除所有注解?

nhjlsmyf

nhjlsmyf1#

使用这些筛选器:
1.将“kubernetes”元数据提升一级
1.删除不需要的数据
1.将剩余数据放回“kubernetes”

[FILTER]
    Name                nest
    Match               application.*
    Operation           lift
    Nested_under        kubernetes
    Add_prefix          Kube.

[FILTER]
    Name                modify
    Match               application.*
    Remove              Kube.annotation.<Metadata_1>
    Remove              Kube.annotation.<Metadata_2>
    Remove              Kube.annotation.<Metadata_3>

[FILTER]
    Name                nest
    Match               application.*
    Operation           nest
    Wildcard            Kube.*
    Nested_under        kubernetes
    Remove_prefix       Kube.

相关问题