我注意到历史日志是在 /user/history/done
(*.jhist文件)用于所有mapreduce作业,如hive、pig等,但用于在中提交的spark作业 yarn-cluster
模式,则不会创建日志。
我想看看spark jobs的资源利用率。有没有其他地方我可以找到Spark作业(cpu,内存等)的资源利用率。或者是否需要设置任何配置,以便像创建其他mapreduce作业一样创建作业历史记录日志。
我注意到历史日志是在 /user/history/done
(*.jhist文件)用于所有mapreduce作业,如hive、pig等,但用于在中提交的spark作业 yarn-cluster
模式,则不会创建日志。
我想看看spark jobs的资源利用率。有没有其他地方我可以找到Spark作业(cpu,内存等)的资源利用率。或者是否需要设置任何配置,以便像创建其他mapreduce作业一样创建作业历史记录日志。
暂无答案!
目前还没有任何答案,快来回答吧!