我正在创建一个长时间运行的spark应用程序。创建spark会话并开始运行应用程序后,单击spark历史服务器上的“显示未完成的应用程序”后,我无法看到它。但是,如果我强制关闭我的应用程序,我可以在“已完成的应用程序”页面下看到它。
我在客户机和服务器上都正确配置了spark参数,如下所示:spark.eventlog.enabled=true
spark.eventlog.dir目录=hdfs://10.18.51.117:8020/history/(我的spark历史服务器上的hdfs路径)
我还在服务器端配置了相同的配置。因此,配置不应该是一个问题(因为在我强制停止应用程序之后,完成的应用程序也会出现)。
你们对这种行为有什么想法吗??
我查看spark history server上的hdfs文件,发现一个非常小的.inprogress文件与我正在运行的应用程序关联(接近空,请参见下图)。似乎只有当应用程序停止时,结果才会被刷新到文件中,这对于我的长时间运行的应用程序来说并不理想……有什么方法或参数可以调整来强制刷新日志吗?
在应用程序运行期间hdfs上显示的非常小的.inprogress文件
暂无答案!
目前还没有任何答案,快来回答吧!