资源管理器restapi提供所有应用程序的状态。我很想知道这些信息实际上存储在哪里?是否可以将此信息发送到hbase/hive?
hts6caw31#
不,您无法从hbase或配置单元获取此信息,因为资源管理器rest API从rm中的数据结构返回实时数据。应用程序日志本地存储在节点管理器和hdfs中,zookeeper维护一些可以独立于rm提取的状态信息,仅此而已。
oewdyzsn2#
你看过timeline server v2吗?atsv2可以存储所有应用程序度量。作为存储,此服务使用hbase(链接:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/timelineservicev2.html)检查hadoop版本是否支持atsv2。
2条答案
按热度按时间hts6caw31#
不,您无法从hbase或配置单元获取此信息,因为资源管理器rest API从rm中的数据结构返回实时数据。应用程序日志本地存储在节点管理器和hdfs中,zookeeper维护一些可以独立于rm提取的状态信息,仅此而已。
oewdyzsn2#
你看过timeline server v2吗?atsv2可以存储所有应用程序度量。作为存储,此服务使用hbase(链接:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/timelineservicev2.html)
检查hadoop版本是否支持atsv2。