因此,我目前正在运行用于数据处理的双集群,一个是kubernetes集群,另一个是hadoop集群。
k8s集群在监控方面得到了照顾,因为它很容易部署prometheus和grafana。
不过,对于hadoop集群,我仍然在寻找一种很好的方法。
我们的目标是要有一个统一的监控解决方案,所以我认为这将是一个好主意,与普罗米修斯,因为我已经熟悉它,但看起来它不是直接向前。
默认情况下,hadoop通过httpapi公开了一些度量,但这些度量并不“prometheus友好”。
如果你能解释一下我是如何做到这一点的,我将不胜感激。
1条答案
按热度按时间jvlzgdj91#
我建议你看看这个,
https://github.com/marcelmay/hadoop-hdfs-fsimage-exporter
在大多数情况下,当应用程序不公开prometheus度量时,您可以使用导出器,其中有很多。
他们收集度量并以普罗米修斯友好的方式暴露它们。