hadoop继续在/tmp目录中写入Map的中间输出

56lgkhnf 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(325)

我在/tmp中的容量有限，所以我想将mapred的所有中间输出移到一个更大的分区中，比如/home/hdfs/tmp\u data。
如果我理解正确，我只需要设置

<property>
<name>mapred.child.tmp</name>
<value>/home/hdfs/tmp_data</value>

在mapred-site.xml中
我通过ambari重新启动集群，检查所有内容都写入conf文件，但是，当我运行pig脚本时，它会继续写入：
/tmp/hadoop hdfs/mapred/local/tasktracker/hdfs/jobcache/job\u local/attempt\u yy/output我还将core-site.xml中的hadoop.tmp.dir修改为/home/hdfs/tmp\u数据，但没有任何更改。
是否有任何参数覆盖我的设置？

hadoop mapreduce Configuration

来源：https://stackoverflow.com/questions/22783523/hadoop-keeps-on-writing-mapred-intermediate-outuput-in-tmp-directory

1条答案

按热度按时间

laik7k3q1#

尝试重写tasktracker nodes mapred-site.xml文件中的以下属性并重新启动它。

<property>
<name>mapred.local.dir/name>
<value>/home/hdfs/tmp_data</value>
</property>

赞(0）回复(0）举报 2021-06-03

我来回答

hadoop继续在/tmp目录中写入Map的中间输出

1条答案

相关问题

热门标签

最新问答