logstash、kafka和graylog以及消息顺序

sxissh06  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(618)

我们有一份 event log ,我们的申请发送 event logKafkaJSON format . 我们的 topic 在Kafka has one partition 因为我们需要阅读 order message ,我们也使用 Logstash 用于消费 event log 和转换 JSON 格式化为 GELF 格式化然后发送到 Graylog . 我们的问题是考虑到主题有一个分区,但是消费者 (Logstash) 没有按顺序阅读信息,我们的秩序受到干扰。我们使用

stdout{ codec => rubydebug }

输入输出 Logstash 配置和这个 Logstash 日志证实了这个问题,当然,我们在garylag中没有有序的事件。为什么秩序混乱。Kafka的问题或 Logstash 或者 Graylog 还是。。。?
谢谢。
更新
日志存储配置:

input {
  kafka {
        bootstrap_servers => "kafka1:9092,kafka2:9092,kafka3:9092"
        group_id => "MyTopicReader"
        topics => "MyTopic"
        consumer_threads => 1
        enable_metric => "false"
        auto_offset_reset => "latest"
 }
}

filter {
   json {
     source => "message"
  }
}

output {
      gelf {

           host => "ip-graylog"
           port => 12201
           sender => "ip-logstash"

    }
 stdout{ codec => rubydebug }
}

管线配置 pipelines.yml :

- pipeline.id: main
  path.config: "/etc/logstash/conf.d/*.conf"

中的管道设置 logstash.yml ```
pipeline.id: main
pipeline.workers: 2
pipeline.batch.size: 125
pipeline.batch.delay: 50

cwtwac6a

cwtwac6a1#

开始日志存储 -w 1 运行一个管道工人。

相关问题