我们正在尝试使用spark history server来进一步改进我们的spark作业。spark作业将事件日志正确写入hdfs,spark history服务器也可以访问此事件日志:我们确实在spark history服务器作业列表中看到了该作业,但除了环境变量和执行器之外,所有内容都是空的。。。关于如何让spark历史服务器显示所有内容有什么想法吗(例如,我们真的很想看到dag)?我们使用的是spark 1.4.1。
谢谢。
我们正在尝试使用spark history server来进一步改进我们的spark作业。spark作业将事件日志正确写入hdfs,spark history服务器也可以访问此事件日志:我们确实在spark history服务器作业列表中看到了该作业,但除了环境变量和执行器之外,所有内容都是空的。。。关于如何让spark历史服务器显示所有内容有什么想法吗(例如,我们真的很想看到dag)?我们使用的是spark 1.4.1。
谢谢。
1条答案
按热度按时间t3irkdon1#
我也有类似的问题。我正在浏览带有端口转发的历史服务器
ssh
. 授予日志目录中所有文件的读取权限后,它们将显示在我的历史服务器中!