运行一些清管器作业时，我注意到日志中有以下行：
[main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler
- mapred.job.reduce.markreset.buffer.percent is not set, set to default 0.3然而，google搜索并没有显示任何关于参数含义的信息 mapred.job.reduce.markreset.buffer.percent . 有人知道这是干什么用的吗？
1条答案
按热度按时间mjqavswn1#
从mapred-default.xml文档：
使用“标记重置”功能时用于缓存值的内存百分比（相对于最大堆大小）。
请注意，这是指一个名为
mapreduce.reduce.markreset.buffer.percent. hadoop中有两个api，mapred和mapreduce。请参阅此问题以了解有关其差异的信息。我不确定这个属性，但我猜可能是您使用的hadoop的旧版本没有更新该属性的名称，或者pig开发人员犯了一个错误，键入了“mapred”而不是“mapreduce”（这就是为什么您发现该属性没有设置）。不管是哪种情况，我想你都可以确信这是我从文件中引用的。