我希望定期清理存储在${spark\u home}/日志中的spark集群的日志文件(1个master+4个worker)。spark日志的默认日志目录应该是${spark\u home}/logs,因为我没有在spark env中配置spark\u log\u dir,所以所有日志都存储在那里。
为了测试它,我在一个worker节点中添加了下面的conf(spark.worker.cleanup.enabled)。
export spark\u worker\u opts=“-dspark.worker.cleanup.enabled=true-dspark.worker.cleanup.interval=300-dspark.worker.cleanup.appdatattl=300”
然后执行stop-slave.sh停止worker节点,并使用start-slave.sh启动worker。但是在配置的间隔时间之后,${spark\u home}/logs中的那些日志文件不会被删除。
我想知道我做得对吗?或者还有更多的事情要做?我还将spark.worker.cleanup conf放在主节点的spark-env.sh中。我也没有看到任何影响。
1条答案
按热度按时间kcugc4gi1#
我想我有点搞不清楚该清理哪个文件夹。在spark文档中,它提到spark.worker.cleanup.enabled只是一个cleanup worker“application”目录。
我们的应用程序目录位于“spark-2.3.3-bin-hadoop2.7/work”,这个目录已经被清理干净了。
所以在更换spark-env.sh之后,再停止slave,然后再启动slave。一切正常。