spark jobserver如何与yarn通信?

flmtquvp  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(270)

我对spark、yarn和scala还很陌生,我正在研究spark jobserver,试图了解远程作业提交和监视的工作原理。让我困惑的是spark jobserver如何接收其运行的作业的更新。看看未来的工作代码,它似乎在spark上下文中运行一个线程?如何在Yarn簇模式下工作?如果作业服务器崩溃,作业还会运行吗?
https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/main/scala/spark/jobserver/jobmanageractor.scala#l605
像livy这样的其他项目似乎使用yarn客户机api来获取作业更新以进行监视,但它看起来不像spark jobserver中的情况。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题