使用hdfs sink connector收集kafka connect的性能指标

xyhw6mcr  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(259)

我们正在运行kafka connect从kafka主题获取avro数据,并使用hdfs sink connector将其存储到hdfs位置。它基本上将100条记录(这是通过flush.size进行的配置)存储到hdfs位置的单个avro记录中。我想知道如何计算它的性能指标,比如每秒写入hdfs位置的记录或消息数、每秒写入的字节数、吞吐量和额外延迟。我们没有配置kafka控制中心,也没有启用jmx端口,通过jconsole可以对其进行监控。这是否可以手动计算,如果存在任何其他工具,我可以使用jmeter,如果是,那么我想如何计算应用程序特定的指标,而不是在系统级别。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题