我们有简单的logstash配置:
input { kafka { topics => ["filebeat", "devjira"] ....
如何使用所有主题而不是在列表中指定不同的主题?
kfgdxczn1#
根据文件,设置 topics_pattern 我应该为你做点什么: topics_pattern 值类型为字符串此设置没有默认值。要订阅的主题正则表达式模式。使用此配置时将忽略主题配置。在apachekafka中,可以使用。 A.* 查询以开头的主题 A 以及 '.*' (注意单引号)以查询所有主题。在logstash定义的上下文中,我不太确定单引号是如何被解析为参数的,但我认为下面的方法应该有效:
topics_pattern
A.*
A
'.*'
input { kafka { bootstrap_servers => 'kafka-host:9092' group_id => 'yourGroupID' topics_pattern => "'.*'" codec => "json" } }
1条答案
按热度按时间kfgdxczn1#
根据文件,设置
topics_pattern
我应该为你做点什么:topics_pattern
值类型为字符串此设置没有默认值。要订阅的主题正则表达式模式。使用此配置时将忽略主题配置。
在apachekafka中,可以使用。
A.*
查询以开头的主题A
以及'.*'
(注意单引号)以查询所有主题。在logstash定义的上下文中,我不太确定单引号是如何被解析为参数的,但我认为下面的方法应该有效: