我们有一份 event log
,我们的申请发送 event log
至 Kafka
与 JSON format
. 我们的 topic
在Kafka has one partition
因为我们需要阅读 order message
,我们也使用 Logstash
用于消费 event log
和转换 JSON
格式化为 GELF
格式化然后发送到 Graylog
. 我们的问题是考虑到主题有一个分区,但是消费者 (Logstash)
没有按顺序阅读信息,我们的秩序受到干扰。我们使用
stdout{ codec => rubydebug }
输入输出 Logstash
配置和这个 Logstash
日志证实了这个问题,当然,我们在garylag中没有有序的事件。为什么秩序混乱。Kafka的问题或 Logstash
或者 Graylog
还是。。。?
谢谢。
更新
日志存储配置:
input {
kafka {
bootstrap_servers => "kafka1:9092,kafka2:9092,kafka3:9092"
group_id => "MyTopicReader"
topics => "MyTopic"
consumer_threads => 1
enable_metric => "false"
auto_offset_reset => "latest"
}
}
filter {
json {
source => "message"
}
}
output {
gelf {
host => "ip-graylog"
port => 12201
sender => "ip-logstash"
}
stdout{ codec => rubydebug }
}
管线配置 pipelines.yml
:
- pipeline.id: main
path.config: "/etc/logstash/conf.d/*.conf"
中的管道设置 logstash.yml
```
pipeline.id: main
pipeline.workers: 2
pipeline.batch.size: 125
pipeline.batch.delay: 50
1条答案
按热度按时间cwtwac6a1#
开始日志存储
-w 1
运行一个管道工人。