我们正在运行3个节点的kafka集群， Kafka 0.11.0 .
我们以字节为单位设置了全局和每个主题的保留，
见以下相关配置：
server.properties
log.retention.hours=48
log.retention.bytes=6400000000
log.segment.bytes=10485760
log.retention.check.interval.ms=300000
zookeeper.connection.timeout.ms=6000
confluent.support.metrics.enable=true
group.initial.rebalance.delay.ms=0
confluent.support.customer.id=anonymous
delete.topic.enable=true
auto.create.topics.enable=false
log.flush.interval.ms=10000
zookeeper.session.timeout.ms=2000
log.flush.scheduler.interval.ms=2000
log.flush.interval.messages=20000
queued.max.requests=1000
producer.purgatory.purge.interval.requests=100
num.replica.fetchers=1
min.insync.replicas=1
unclean.leader.election.enable=true
inter.broker.protocol.version=1.0
log.message.format.version=1.0奇怪的是当我们跑的时候 kafka –describe ，以验证 retention.bytes 我们从输出中得到如下值
我们看得出来 Configs: 获取空值
bin/kafka-topics.sh --zookeeper zk-01:2181/kafka --describe --topic stg_logtopic
Topic:stg_logtopic PartitionCount:12 ReplicationFactor:3 Configs:
Topic: stg_logtopic Partition: 0 Leader: 4 Replicas: 4,5,6 Isr: 4,5,6
Topic: stg_logtopic Partition: 1 Leader: 5 Replicas: 5,6,1 Isr: 5,1,6
...而预期的输出应该是这样的
bin/kafka-topics.sh --zookeeper zk-01:2181/kafka --describe --topic stg_logtopic
Topic:stg_logtopic PartitionCount:12 ReplicationFactor:3 Configs:retention.bytes=6400000000
Topic: stg_logtopic Partition: 0 Leader: 4 Replicas: 4,5,6 Isr: 4,5,6
Topic: stg_logtopic Partition: 1 Leader: 5 Replicas: 5,6,1 Isr: 5,1,6为什么要说这些细节 retention.bytes=6400000000 ，不从中显示 kafka –describe ?
提前谢谢，
1条答案
按热度按时间oknrviil1#
使用此工具描述主题时，只能看到已覆盖的配置。未列出应用代理默认值的所有其他配置。
在以下情况下，可以覆盖主题级别的配置：
创建它：例如
kafka-topics.sh -create --zookeeper localhost:2181 --replication-factor 3 --partitions 100 --topic test --config retention.bytes=12345改变它：例如kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name test --alter --add-config retention.bytes=12345在这些情况下，在描述主题时，您将看到其配置：如果您想查看包括代理默认值在内的所有配置，则需要使用
kafka-configs工具和Kafka2.5。例如（我截断了部分输出，因为它很长）：