我有一个由两个主机组成的集群-
似乎我正在运行的作业正在创建大量日志，我的一个hdfs数据节点显示严重的健康问题为-
四件事：
如何清理这些日志并释放空间？从/var/log/hadoop hdfs手动删除它们是个好主意吗？
如上所述/var/log/hadoop hdfs目录只有610 mb，hdfs中的空间在哪里被占用？
如何配置日志文件以定期删除？
我有hdfs，spark和yarn-mr2服务，它们都在创建自己的日志。我也希望把它们清理干净。
谢谢！
我有一个由两个主机组成的集群-
似乎我正在运行的作业正在创建大量日志，我的一个hdfs数据节点显示严重的健康问题为-
四件事：
如何清理这些日志并释放空间？从/var/log/hadoop hdfs手动删除它们是个好主意吗？
如上所述/var/log/hadoop hdfs目录只有610 mb，hdfs中的空间在哪里被占用？
如何配置日志文件以定期删除？
我有hdfs，spark和yarn-mr2服务，它们都在创建自己的日志。我也希望把它们清理干净。
谢谢！
1条答案
按热度按时间t3psigkw1#
在深入研究hdfs之后-
要获取哪个目录的大小，请执行以下操作：
hadoop fs -du -h /user/spark服务日志创建：由spark location创建的日志被识别，并被手动删除，集群恢复正常状态-
spark on在hdfs中的位置创建日志-
日志文件大小为129gb。（已删除）
使用的命令-（当-rm将文件移动到垃圾箱时，我们还需要从垃圾箱中-rm它，以便正确清理）