在hadoop中使用/tmp目录的体系结构决策是什么?

u4dcyp6a  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(324)

关闭。这个问题是基于意见的。它目前不接受答案。
**想改进这个问题吗?**更新这个问题,这样就可以通过编辑这篇文章用事实和引文来回答。

四年前关门了。
改进这个问题
在hadoop中使用/tmp文件夹的概念是什么,或者使用/tmp文件夹的体系结构决策是什么。为什么不直接将数据复制到fsimage或editlog?

ibrsph3r

ibrsph3r1#

hdfs/tmp目录的主要目的是在map reduce执行期间存储临时文件。
在运行map reduce作业时,它会创建许多临时的中间文件,一旦执行完成,这些文件就会被清除。
而fsimage包含整个文件系统名称空间,包括块到文件的Map和文件系统属性。
和editlog表示自创建fsimage以来所做的所有名称系统修改。
/tmp文件将在执行完成后被清除。
都有不同的目的。

tzxcd3kk

tzxcd3kk2#

fsimage和editlog都在ram中,如果我读对了的话(link1,link2)。
最重要的方面 /tmp 文件夹可能是。。。
在群集重新启动时未清除
不被视为垃圾目录
不强制执行权限权限(如主目录中的目录),因此可以在进程之间共享
作为分布式文件空间保留为hdfs的一部分
除此之外,使用它的原因可能类似于任何unix环境的用例。

相关问题