metrics主题

djmepvbi  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(285)

我想获取此处给定的某个接收器连接器的接收器记录活动计数的值https://docs.confluent.io/current/connect/managing/monitoring.html#sink-任务度量
我在docker桌面上运行的所有容器都使用docker compose file docker ps docker ps
我使用了confluent metrics reporter来完成任务。
也指https://docs.confluent.io/5.4.0/kafka/metrics-reporter.html 以及https://neo4j.com/docs/labs/neo4j-streams/current/examples/#_confluent_with_docker 我将env变量添加到kafka容器中,如下所示

kafka-service:
    image: confluentinc/cp-enterprise-kafka:5.4.0
    container_name: kafka
    depends_on:
      - zookeeper
    links:
      - zookeeper
    ports:
      - 9092:9092
    expose:
      - "29092"
    environment:
      METRIC_REPORTERS: io.confluent.metrics.reporter.ConfluentMetricsReporter
      CONFLUENT_METRICS_REPORTER_ZOOKEEPER_CONNECT: zookeeper:2181
      CONFLUENT_METRICS_REPORTER_TOPIC_REPLICAS: 1
      CONFLUENT_METRICS_REPORTER_TOPIC_CREATE: 'true'
      CONFLUENT_METRICS_ENABLE: 'true'
      CONFLUENT_METRICS_REPORTER_BOOTSTRAP_SERVERS: http://kafka-service:29092
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-service:29092,PLAINTEXT_HOST://localhost:9092
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 100
    command:
      - bash
      - -c 
      - |
        echo '127.0.0.1 kafka-service' >> /etc/hosts
        /etc/confluent/docker/run
        sleep infinity

在Kafka的日志里我得到了信息
信息已创建metrics reporter主题\u confluent-metrics(io.confluent.metrics.reporter.confluentmetricsreporter)
我不知道如何用java阅读这个主题。本主题是否也会有所需的指标?与Flume接头有关?
第三页https://docs.confluent.io/current/connect/managing/monitoring.html#sink-给出了任务度量。。我也不知道如何使用它。如果它也需要jmx的话,我试着把kafkaïjmxïhostname=localhost和kafkaïjmxïport:9010放在后面https://rmoff.net/2018/09/17/accessing-kafka-docker-containers-jmx-from-host/ 但我不知道如何继续前进。

vltsax25

vltsax251#

据我所知, ConfluentMetricsReporter 是专有的二进制格式,如果没有作为control center一部分的反序列化库,则无法读取。
我建议使用prometheus jmx exporter+grafana在kafka消费者应用程序或控制中心之外可视化这些数据(confluent helm charts已经提供了这样的设置)
旁注:请不要编辑任何 /etc/hosts 文件夹

相关问题