无法读取来自Kafka服务器的消息

7vhp5slm  于 2023-11-16  发布在  Apache
关注(0)|答案(1)|浏览(176)

在安装了Kafka并启用了KRaft 3.5版本后,我的消费者没有阅读任何消息。生产者愉快地编写新消息。没有错误消息可见,消费者只是无休止地等待新消息。
我已经在kubernetes中的bitnami helm skript的帮助下安装了Kafka。这是我的配置:

global:
  imageRegistry: "remote.docker.bin.abc.ch"

controller:
  replicaCount: 1
  persistence:
    size: 1Gi
  podSecurityContext:
    enabled: false
  containerSecurityContext:
    enabled: false
  resources:
    limits:
      memory: 2Gi

externalAccess:
    enabled: true
    service:
        type: LoadBalancer
        ports:
            external: 9094
    autoDiscovery:
        enabled: true

broker:
  podSecurityContext:
    enabled: false
  containerSecurityContext:
    enabled: false

sasl:
  client:
    users: ["xyzwu-kafka-user-local"]
    passwords: ["*"]

rbac:
  create: true

extraConfig:
  - deleteTopicEnable: true

字符串
请注意,我使用端口9094从kubernetes外部访问klafka。
我创建了这个client.properites文件来登录Kafka示例:

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="xyzwu-kafka-user-local" password="*";


我创建了一个主题:

kafka-topics.sh --bootstrap-server localhost:9094 --command-config local-client.properties --topic myTopic --create --partitions 3


并发送了一些信息:

kafka-console-producer.sh --bootstrap-server localhost:9094 --producer.config local-client.properties --topic myTopic
>asdf1
>asdf2
>asdf3


当我尝试阅读消息时,我什么也得不到:

kafka-console-consumer.sh --bootstrap-server localhost:9094 --consumer.config local-client.properties --topic myTopic --from-beginning
Processed a total of 0 messages


我还在kubernetes内部创建了一个客户端,并直接连接到localhost:9092,以确保我没有kubernetes/网络问题。但同样没有消息被读取。
我也有一个完整的spring-boot应用程序,它显示了同样的症状。我可以创建主题,发送消息,但没有任何内容被读取。没有错误消息生成。
有什么想法吗?

jvidinwx

jvidinwx1#

经过大量的研究,我发现bitnami helm脚本目前在少于3个经纪人的设置中被破坏。
请参阅https://github.com/bitnami/charts/issues/19522
对于开发安装,一个broker通常就足够了。还需要两个设置才能使Kafka服务器正常工作。
将此添加到value.yaml文件:

extraConfig: |
  offsets.topic.replication.factor=1
  transaction.state.log.replication.factor=1

字符串

相关问题