通过cmd获取支持ssl的kafka中的最新偏移量

rdrgkggo  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(350)

我正在使用下面的cmd从一个kafka队列中获取最新的偏移量,这个队列打开了纯文本端口

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list server:9092 --topic sample_topic --time -1

但是,现在我们只打开了ssl端口,所以我尝试将ssl详细信息作为属性文件传递

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list server:9093 --topic sample_topic --time -1 --consumer-config /path/to/file

获取以下错误-

Exception in thread "main" joptsimple.UnrecognizedOptionException: consumer-config is not a recognized option

如何将ssl详细信息传递给此命令?这些是kafka-run-class.sh kafka.tools.getoffsetshell的所有可用参数

--broker-list <String: hostname:and port,...,hostname:port>                
--max-wait-ms <Integer: ms>            
--offsets <Integer: count>             
--partitions <String: partition ids>   
--time <Long: timestamp/-1(latest)/-2             
--topic <String: topic>
u7up0aaq

u7up0aaq1#

不幸的是 kafka.tools.GetOffsetShell 仅支持纯文本连接。这个工具没有被大量使用,也没有人愿意更新它。
根据您的用例,您有几个选项:
使用 kafka-consumer-groups.sh 工具:假设您有一个消费组从该主题消费,这个工具显示每个分区的日志结束偏移量
补丁 kafka.tools.GetOffsetShell :通过重用来自其他工具的逻辑,很容易为安全连接添加支持。如果这样做,请考虑向kafka发送修补程序()
编写一个调用 Consumer.endOffsets() 使用 kafka.tools.DumpLogSegments :作为最后的手段,此工具也可用于查找最后的偏移量

相关问题