yarn会在hdfs上存储包括运行时在内的完整应用程序的信息吗？我只想通过hdfs上的一些文件来获取应用程序运行时（如果确实存在这样的文件，我已经检查了日志，没有运行时信息），而不使用任何监控软件。
wgx48brx1#
要查找持久作业历史记录文件，您需要检查作业历史记录服务器或时间线服务器，而不是资源管理器：作业历史被聚合到hdfs上，可以从作业历史服务器ui（或restapi）中看到。历史文件存储在 mapreduce.jobhistory.done-dir 在hdfs上。作业历史还可以由时间轴服务器（基于文件系统，又称ats1.5）聚合，并可以从时间轴服务器ui（或restapi）中看到。历史文件存储在 yarn.timeline-service.entity-group-fs-store.done-dir 在hdfs上。
mapreduce.jobhistory.done-dir
yarn.timeline-service.entity-group-fs-store.done-dir
fjnneemd2#
您可以使用resourcemanagerrest获取所有已完成应用程序的信息。
http://resource_manager_host:port/ws/v1/cluster/apps?state=FINISHED
一 GET 对url的请求将返回一个json响应（也可以获得xml）。必须对响应进行分析 elapsedTime 为每个应用程序获取应用程序的运行时间。
GET
elapsedTime
2条答案
按热度按时间wgx48brx1#
要查找持久作业历史记录文件，您需要检查作业历史记录服务器或时间线服务器，而不是资源管理器：
作业历史被聚合到hdfs上，可以从作业历史服务器ui（或restapi）中看到。历史文件存储在
mapreduce.jobhistory.done-dir在hdfs上。作业历史还可以由时间轴服务器（基于文件系统，又称ats1.5）聚合，并可以从时间轴服务器ui（或restapi）中看到。历史文件存储在
yarn.timeline-service.entity-group-fs-store.done-dir在hdfs上。fjnneemd2#
您可以使用resourcemanagerrest获取所有已完成应用程序的信息。
一
GET对url的请求将返回一个json响应（也可以获得xml）。必须对响应进行分析elapsedTime为每个应用程序获取应用程序的运行时间。