我把fluent bit部署到kubernetes。我部署了一个pod,注解为fluentbit.io/parser: cri
。但是它仍然使用INPUT
中配置的解析器ivyxjc
解析日志。
流畅位配置
apiVersion: v1
kind: ConfigMap
metadata:
name: fluent-bit-config
labels:
k8s-app: fluent-bit
data:
# Configuration files: server, input, filters and output
# ======================================================
fluent-bit.conf: |
[SERVICE]
Flush 1
Log_Level info
Daemon off
Parsers_File parsers.conf
HTTP_Server On
HTTP_Listen 0.0.0.0
HTTP_Port 2020
@INCLUDE input-kubernetes.conf
@INCLUDE filter-kubernetes.conf
@INCLUDE output-elasticsearch.conf
input-kubernetes.conf: |
[INPUT]
Name tail
Tag kube.*
Path /var/log/containers/*.log
Parser ivyxjc
DB /var/log/flb_kube.db
Mem_Buf_Limit 200MB
Skip_Long_Lines On
Refresh_Interval 10
filter-kubernetes.conf: |
[FILTER]
Name kubernetes
Match kube.*
Kube_URL https://kubernetes.default.svc:443
Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
Kube_Tag_Prefix kube.var.log.containers.
Merge_Log On
k8s-logging.parser On
K8S-Logging.Exclude On
output-elasticsearch.conf: |
[OUTPUT]
Name es
Match *
Host ${FLUENT_ELASTICSEARCH_HOST}
Port ${FLUENT_ELASTICSEARCH_PORT}
HTTP_User ${FLUENT_ELASTICSEARCH_USER}
HTTP_Passwd ${FLUENT_ELASTICSEARCH_PASSWD}
Logstash_Format On
Replace_Dots On
Retry_Limit False
tls On
tls.verify Off
parsers.conf: |
[PARSER]
# http://rubular.com/r/tjUt3Awgg4
Name cri
Format regex
Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>[^ ]*) (?<message>.*)$
Time_Key time
Time_Format %Y-%m-%dT%H:%M:%S.%L%z
[PARSER]
Name ivyxjc
Format regex
Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag2>[^ ]*) (?<message2>.*)$
Time_Key time
Time_Format %Y-%m-%dT%H:%M:%S.%L%z
字符串
Pod描述:
...
Name: logger-5c6658b5dd-66zkw
Namespace: logger
Priority: 0
Start Time: Fri, 15 Oct 2021 15:28:47 +0800
Labels: app=logger
pod-template-hash=5c6658b5dd
Annotations: fluentbit.io/parser: cri
fluentbit.io/parser_stderr: cri
fluentbit.io/parser_stdout: cri
Status: Running
...
型
2条答案
按热度按时间eqzww0vc1#
我们遇到了这个问题,最终发现fluent的集群角色绑定中存在一个错误配置。在我们的服务帐户的名称中有一个类型,这个问题在fluent中导致了非常奇怪的行为,包括没有使用正确的解析器解析行,并且没有应用许多标记,但是即使在“调试”日志级别,也没有明显的日志行指示任何错误。
bcs8qyzn2#
k8s-logging.parser
此选项告知fluent bit代理使用将用于“log”关键字的注解中的解析器。INPUT解析器将照常应用。然后,“KUBERNETES”过滤器拾取输入,然后由“fluentbit.io/parser:parser_name_here”指示的解析器将从“log”关键字拾取值。
参考文件
不幸的是,这在某些情况下并不起作用,以及,我还没有能够追逐它下来,但会更新这个答案,如果我确实找到了一些东西。