我正在使用hortonworks环境进行大数据处理。我注意到,作为来自hive/oozie/pig等的map reduce作业的一部分,我下面的本地缓存目录被填满了,它为每个map reduce执行jar文件创建了一个文件夹。/hadoop/yarn/local/usercache/root/filecache我直接删除这些文件夹可以吗?是否有任何配置,我可以设置为删除它自动?
nkcskrwz1#
这些目录应该每600000毫秒(10分钟)自动清理一次。或者可以通过在中设置此属性来缩短此时间段 yarn-site.xml , yarn.nodemanager.localizer.cache.cleanup.interval-ms .您还可以更改此缓存目录应占用的最大大小, yarn.nodemanager.localizer.cache.target-size-mb . 默认目标大小为1024MB。如果没有作业正在运行,则可以手动删除缓存。删除缓存后重新启动nodemanager。
yarn-site.xml
yarn.nodemanager.localizer.cache.cleanup.interval-ms
yarn.nodemanager.localizer.cache.target-size-mb
1条答案
按热度按时间nkcskrwz1#
这些目录应该每600000毫秒(10分钟)自动清理一次。
或者可以通过在中设置此属性来缩短此时间段
yarn-site.xml
,yarn.nodemanager.localizer.cache.cleanup.interval-ms
.您还可以更改此缓存目录应占用的最大大小,
yarn.nodemanager.localizer.cache.target-size-mb
. 默认目标大小为1024MB。如果没有作业正在运行,则可以手动删除缓存。删除缓存后重新启动nodemanager。