我们使用官方的restapi从hadoop资源管理器读取各种用户和应用程序的资源使用情况。我们的问题是，应用程序历史记录持续的时间不够长，因此对于已用的核心、内存和容器，它返回-1的值。我们想延长yarn存储数据的持续时间，但不知道在哪里设置值。
w8f9ii691#
您应该检查mapred-site.xml并查看 mapreduce.jobhistory.max-age-ms . 如中所述：https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml运行历史记录清理程序时，将删除超过此毫秒数的作业历史记录文件。默认为604800000（1周）。如果要读取资源使用情况，应该考虑使用作业历史服务器的作业api和作业计数器api。rmrestapi显示的是瞬时使用率而不是累积使用率。https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/historyserverrest.html#job_apihttps://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/historyserverrest.html#job_counters_api
mapreduce.jobhistory.max-age-ms
1条答案
按热度按时间w8f9ii691#
您应该检查mapred-site.xml并查看
mapreduce.jobhistory.max-age-ms. 如中所述：https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
运行历史记录清理程序时，将删除超过此毫秒数的作业历史记录文件。默认为604800000（1周）。
如果要读取资源使用情况，应该考虑使用作业历史服务器的作业api和作业计数器api。rmrestapi显示的是瞬时使用率而不是累积使用率。
https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/historyserverrest.html#job_api
https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/historyserverrest.html#job_counters_api