本地缓存post map减少作业占用空间

7uhlpewt  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(322)

我正在使用hortonworks环境进行大数据处理。
我注意到,作为来自hive/oozie/pig等的map reduce作业的一部分,我下面的本地缓存目录被填满了,它为每个map reduce执行jar文件创建了一个文件夹。
/hadoop/yarn/local/usercache/root/filecache
我直接删除这些文件夹可以吗?是否有任何配置,我可以设置为删除它自动?

nkcskrwz

nkcskrwz1#

这些目录应该每600000毫秒(10分钟)自动清理一次。
或者可以通过在中设置此属性来缩短此时间段 yarn-site.xml , yarn.nodemanager.localizer.cache.cleanup.interval-ms .
您还可以更改此缓存目录应占用的最大大小, yarn.nodemanager.localizer.cache.target-size-mb . 默认目标大小为1024MB。
如果没有作业正在运行,则可以手动删除缓存。删除缓存后重新启动nodemanager。

相关问题