我在kafka集群（kafka 0.11.0.0）中有简单的观察。根据jmx的信息 __consumer_offsets topic不断加载的消息是所有其他主题中所有消息总和的10倍。我还将控制台消费者与此主题联系起来，我可以测量类似的值。原因是什么？如何检查kafka代理在做什么，并自己生成这样的负载？
__consumer_offsets
ktca8awb1#
对于Kafka2.2版，这是一个演示：Kafka2.12-2.2.1/bin#
./kafka-console-consumer.sh --bootstrap-server your-broker --topic __consumer_offsets --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"
输出为：
[MyGroup-7cc5f948df-f9tqz,__MY_TOPIC,2]::OffsetAndMetadata(offset=30, leaderEpoch=Optional.empty, metadata=, commitTimestamp=1568121107017, expireTimestamp=None)
a2mppw5e2#
要阅读消费者补偿主题： bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf 对于kafka 11，请使用格式化程序 "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" 其中consumer.conf有一行 exclude.internal.topics=false
bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf
"kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"
exclude.internal.topics=false
2条答案
按热度按时间ktca8awb1#
对于Kafka2.2版，这是一个演示：
Kafka2.12-2.2.1/bin#
输出为：
a2mppw5e2#
要阅读消费者补偿主题：
bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf对于kafka 11，请使用格式化程序"kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"其中consumer.conf有一行exclude.internal.topics=false