使用 Spark
配置为 Yarn
(英寸 client
我发现我的一些 Executors
我们失败了。
这个 Executor
,这是一个 Yarn-Container
,其单个日志文件位于: /var/log/hadoop-yarn/containers/containerID
. 容器生成的一些(关键的)事件/日志会渗透到驱动程序,但不是全部。据观察,当 Executor
失败,它的 log file
它一死就被清除了。有没有什么方法可以防止这些日志因调试而被删除?
1条答案
按热度按时间tgabmvqs1#
既然你在Yarn上有Spark,我希望这有助于收集所有的原木