如何使用所有Kafka主题(麋鹿)

rdrgkggo  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(316)

我们有简单的logstash配置:

input {
    kafka {
        topics => ["filebeat", "devjira"]
....

如何使用所有主题而不是在列表中指定不同的主题?

kfgdxczn

kfgdxczn1#

根据文件,设置 topics_pattern 我应该为你做点什么: topics_pattern 值类型为字符串
此设置没有默认值。要订阅的主题正则表达式模式。使用此配置时将忽略主题配置。
在apachekafka中,可以使用。 A.* 查询以开头的主题 A 以及 '.*' (注意单引号)以查询所有主题。在logstash定义的上下文中,我不太确定单引号是如何被解析为参数的,但我认为下面的方法应该有效:

input {
    kafka {
       bootstrap_servers => 'kafka-host:9092'
       group_id => 'yourGroupID'
       topics_pattern => "'.*'"
       codec => "json"
    }
}

相关问题