logstash不能消耗Kafka的能量

xesrikrc  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(419)

我的结构是这样的:logfiles>filebeat>kafka>logstash>elasticsearch>kibana
但我被卡在Kafka的罗格藏部分。
首先,filebeat可以向kafka生成消息,我可以使用以下方法进行检查:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic {topicName} --from-beginning

它也可以被命令消耗:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic {topicName}

但是,当我尝试使用logstash来使用主题时,无法检索任何内容,zookeeper不断抛出:
2017-11-13 16:11:59205[我的ID:]-信息[nioservercxn。factory:0.0.0.0/0.0.0.0:2181:nioservercnxnfactory@215]-从/127.0.0.1:53201接受插座连接
2017-11-13 16:11:59207[myid:]-警告[nioservercxn。factory:0.0.0.0/0.0.0.0:21 81:nioservercnxn@383]-导致会话0x0关闭的异常:null
2017-11-13 16:11:59209[myid:]-信息[nioservercxn。factory:0.0.0.0/0.0.0.0:2181:nioservercnxn@1040]-客户端的封闭套接字连接/127.0.0.1:53201(没有为客户端建立会话)
此外,此语句中的端口号不断增加“accepted socket connection from/127.0.0.1:53201”。它正在扫描端口吗?
以下是一些背景。版本:
Zookeeper-3.4.11
Kafka2.10-0.10.2.1
日志存储-5.4.0
(插件)logstash输入kafka(5.1.6)
这是我的配置:
zoo.cfg(Zookeeper)

tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181

server.properties(Kafka)

listeners=PLAINTEXT://localhost:9092
zookeeper.connect=127.0.0.1:2181

logstash.config(日志存储)

input {
    kafka {
        bootstrap_servers => "localhost:2181"
        topics => "test"
    }   
}

我想问题是由于Zookeeper和Kafka之间的配置,但我不知道如何解决它。请帮忙。

sz81bmfz

sz81bmfz1#

你需要使用 localhost:9092 对于配置参数 bootstrap_servers -你把logstash指向zookeeper,但你需要指向Kafka本身。
另一个错误是 topics 需要数组,所以应该是 ["test"] 而不是 "test"

相关问题