我试图捕获hadoop任务（mapper和reducer）的磁盘i/o和网络i/o，即即时带宽、累积流量、源地址和目标地址。我发现了两个流行的hadoop监控工具：ganglia（通常与nagios结合使用）和x-trace。ganglia在2004年由uc-berkeley提出，x-trace也在2007年由uc-berkeley开发。任何关于这两种工具的利弊的建议都将不胜感激。
dojqjjoe1#
我将从ganglia或munin开始——它们将告诉您集群中不同机器上的资源利用率。x-trace是一个相当学术的项目，它生成有关分布式事务、延迟和瓶颈以及分布式系统中的控制流的数据。不幸的是，目前还没有得到很好的支持。
1条答案
按热度按时间dojqjjoe1#
我将从ganglia或munin开始——它们将告诉您集群中不同机器上的资源利用率。
x-trace是一个相当学术的项目，它生成有关分布式事务、延迟和瓶颈以及分布式系统中的控制流的数据。不幸的是，目前还没有得到很好的支持。