在mapreduce中,我们说由Map器产生的输出称为中间数据。中间数据也被复制了吗?中间数据是临时的吗?中间数据何时删除?是自动删除还是需要显式删除?
gj3fmq9x1#
Map器的溢出文件存储在运行Map器的工作节点的本地文件系统中。类似地,从一个节点到另一个节点的数据流存储在运行任务的工作节点的本地文件系统中。此本地文件系统路径由指定 hadoop.tmp.dir 默认情况下为“/tmp”的属性。作业完成或失败后,本地文件系统上使用的临时位置将自动清除您不必执行任何清理过程,它将由框架自动处理。
hadoop.tmp.dir
1条答案
按热度按时间gj3fmq9x1#
Map器的溢出文件存储在运行Map器的工作节点的本地文件系统中。类似地,从一个节点到另一个节点的数据流存储在运行任务的工作节点的本地文件系统中。
此本地文件系统路径由指定
hadoop.tmp.dir
默认情况下为“/tmp”的属性。作业完成或失败后,本地文件系统上使用的临时位置将自动清除您不必执行任何清理过程,它将由框架自动处理。