我有一个spark集群，它以mesos作为资源管理器运行。当某些spark作业失败时，mesos代理节点中work目录中的临时数据文件不会被删除。是否有任何配置可以自动清除mesos代理工作目录中的数据
dldeef671#
主空间 work_dir 实际上是executors/runs/latest:stdout&stderr中的文件。如果遗嘱执行人是永久的，那么 gc_delay 不会再工作了。因为遗嘱执行人不会被终止或撤职。所以我们必须用另一种方法-容器记录器。这里有医生。配置两个标志： modules 以及 container_logger . 因此 stdout 以及 stderr 当满足最大文件大小（默认为10米）时，将自动删除。
work_dir
gc_delay
modules
container_logger
stdout
stderr
zf2sa74q2#
沙盒文件计划在以下情况下进行垃圾回收：遗嘱执行人被解除或终止。框架被移除。在代理恢复期间，执行者恢复失败。注意：在代理恢复期间，除了最新的运行之外，所有执行器的运行都安排为垃圾回收。垃圾回收是基于 --gc_delay 代理标志。默认情况下，这是沙盒上次修改后的一周。延迟后，文件被删除。另外，根据 --disk_watch_interval 代理标志，根据可用磁盘和 --gc_disk_headroom 代理标志。看这里的公式。来自文档
--gc_delay
--disk_watch_interval
--gc_disk_headroom
2条答案
按热度按时间dldeef671#
主空间
work_dir实际上是executors/runs/latest:stdout&stderr中的文件。如果遗嘱执行人是永久的，那么
gc_delay不会再工作了。因为遗嘱执行人不会被终止或撤职。所以我们必须用另一种方法-容器记录器。这里有医生。配置两个标志：
modules以及container_logger. 因此stdout以及stderr当满足最大文件大小（默认为10米）时，将自动删除。zf2sa74q2#
沙盒生命周期
沙盒文件计划在以下情况下进行垃圾回收：
遗嘱执行人被解除或终止。
框架被移除。
在代理恢复期间，执行者恢复失败。
注意：在代理恢复期间，除了最新的运行之外，所有执行器的运行都安排为垃圾回收。
垃圾回收是基于
--gc_delay代理标志。默认情况下，这是沙盒上次修改后的一周。延迟后，文件被删除。另外，根据
--disk_watch_interval代理标志，根据可用磁盘和--gc_disk_headroom代理标志。看这里的公式。来自文档