在yarn上提交的spark作业的作业历史记录日志

brccelvz  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(305)

我注意到历史日志是在 /user/history/done (*.jhist文件)用于所有mapreduce作业,如hive、pig等,但用于在中提交的spark作业 yarn-cluster 模式,则不会创建日志。
我想看看spark jobs的资源利用率。有没有其他地方我可以找到Spark作业(cpu,内存等)的资源利用率。或者是否需要设置任何配置,以便像创建其他mapreduce作业一样创建作业历史记录日志。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题