通过restapi下载完整的spark执行器日志

qzwqbdag  于 2021-05-22  发布在  Spark
关注(0)|答案(0)|浏览(152)

我在python中设置了一个脚本,从分布式spark应用程序收集信息;基本上,它返回基本信息,如正常运行时间,更有趣的是,如果任何执行者有问题,返回异常的简要描述,如果可用的话。这将根据监控和仪器文档利用spark rest api。
在同一份文件中我可以看到有一个“端点”

/applications/[base-app-id]/logs

上面写着
将给定应用程序的所有尝试的事件日志作为zip文件中的文件下载。
我可以成功地调用rest url并下载一个zip文件,但它总是空的。我读错了描述,或者我是对的,我可以期待看到执行人的标准和标准?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题