我有一个在kubernetes中运行的http sink连接器。它向rest服务发出请求。消耗和发送到主题的消息量似乎很低。连接器是否发布了任何度量来给出请求延迟？有没有人有任何经验来提高一个http接收器连接器的吞吐量？任何建议？我们已经尝试增加pod计数以匹配分区计数。
9ceoxa921#
Kafka Connect并不是HTTP独有的，因此不会为特定的接收器连接器提供任何内置指标。也就是说，您使用的接收器连接器是框架的自定义插件，可能会也可能不会添加JMX指标，因此您需要设置jmxterm，VisualVM等来检查它是否有。提高http接收器连接器吞吐量的经验您可以配置任何使用者客户端配置。例如，consumer.override.max.poll.records: 5000将在再次轮询之前将每次轮询处理的记录数增加10倍。这也意味着，如果这些记录中的任何一个失败，它可能会根据容错设置跳过或重新传递这些记录您也可以配置其他设置，如缓冲区大小。检查Kafka文档中的所有消费者配置。
jmxterm
consumer.override.max.poll.records: 5000
1条答案
按热度按时间9ceoxa921#
Kafka Connect并不是HTTP独有的，因此不会为特定的接收器连接器提供任何内置指标。
也就是说，您使用的接收器连接器是框架的自定义插件，可能会也可能不会添加JMX指标，因此您需要设置
jmxterm，VisualVM等来检查它是否有。提高http接收器连接器吞吐量的经验
您可以配置任何使用者客户端配置。例如，
consumer.override.max.poll.records: 5000将在再次轮询之前将每次轮询处理的记录数增加10倍。这也意味着，如果这些记录中的任何一个失败，它可能会根据容错设置跳过或重新传递这些记录您也可以配置其他设置，如缓冲区大小。检查Kafka文档中的所有消费者配置。