spark history server不显示作业或阶段

arknldoa  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(393)

我们正在尝试使用spark history server来进一步改进我们的spark作业。spark作业将事件日志正确写入hdfs,spark history服务器也可以访问此事件日志:我们确实在spark history服务器作业列表中看到了该作业,但除了环境变量和执行器之外,所有内容都是空的。。。关于如何让spark历史服务器显示所有内容有什么想法吗(例如,我们真的很想看到dag)?我们使用的是spark 1.4.1。
谢谢。

t3irkdon

t3irkdon1#

我也有类似的问题。我正在浏览带有端口转发的历史服务器 ssh . 授予日志目录中所有文件的读取权限后,它们将显示在我的历史服务器中!

cd {SPARK_EVENT_LOG_DIR}
chmod +r * # grant the read permission to all users for all files

相关问题