spark+yarn:如何保留丢失的执行者的日志

4ioopgfo  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(334)

使用 Spark 配置为 Yarn (英寸 client 我发现我的一些 Executors 我们失败了。
这个 Executor ,这是一个 Yarn-Container ,其单个日志文件位于: /var/log/hadoop-yarn/containers/containerID . 容器生成的一些(关键的)事件/日志会渗透到驱动程序,但不是全部。据观察,当 Executor 失败,它的 log file 它一死就被清除了。有没有什么方法可以防止这些日志因调试而被删除?

tgabmvqs

tgabmvqs1#

既然你在Yarn上有Spark,我希望这有助于收集所有的原木

yarn logs -applicationId <application ID>

相关问题