我几天前就开始和Kafka合作了。我在windows环境下使用kafka,我想查看kafka主题的每个分区中的数据。我有一个题目叫 ExampleTopic 与 replication.factor 设置为3和3个分区。我可以看到主题中的数据,但我想知道哪些消息将进入哪些分区。请让我知道,如果可以,那怎么办?
ExampleTopic
replication.factor
x6h2sr281#
你可以用 --partition kafka控制台使用者的参数,以指定从哪个分区消费: bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic ExampleTopic --partition 0 也可以指定 --offset 指示从哪个偏移开始的参数。如果不存在,则消耗从分区的末尾开始。
--partition
bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic ExampleTopic --partition 0
--offset
fwzugrvs2#
使用 kafkacat ,例如:
kafkacat
$ kafkacat -b localhost:9092 -t my_topic -C \ -f '\nKey (%K bytes): %k\t\nValue (%S bytes): %s\n\ Timestamp: %T\tPartition: %p\tOffset: %o\n--\n' Key (1 bytes): 1 Value (79 bytes): {"uid":1,"name":"Cliff","locale":"en_US","address_city":"St Louis","elite":"P"} Timestamp: 1520618381093 Partition: 0 Offset: 0
wr98u20j3#
我有一个基于gui的工具来查看一个名为kafka工具的主题的每个分区中的数据。http://www.kafkatool.com it是管理Kafka集群的工具。还提供了很多应该尝试的功能。
3条答案
按热度按时间x6h2sr281#
你可以用
--partition
kafka控制台使用者的参数,以指定从哪个分区消费:bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic ExampleTopic --partition 0
也可以指定--offset
指示从哪个偏移开始的参数。如果不存在,则消耗从分区的末尾开始。fwzugrvs2#
使用
kafkacat
,例如:wr98u20j3#
我有一个基于gui的工具来查看一个名为kafka工具的主题的每个分区中的数据。http://www.kafkatool.com it是管理Kafka集群的工具。还提供了很多应该尝试的功能。