hadoop mapreduce计数器

lnvxswe2  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(424)

关闭。这个问题需要更加突出重点。它目前不接受答案。
**想改进这个问题吗?**通过编辑这篇文章更新这个问题,使它只关注一个问题。

5年前关门了。
改进这个问题
有人能详细解释一下下列文件系统计数器的含义吗?
文件\字节\读取
文件\u字节\u写入
文件读取操作
文件\u大\u读操作\u
文件写入操作
hdfs\字节\读取
hdfs\写入字节
hdfs读取操作
hdfs\大\读\操作
写操作

n3schb8v

n3schb8v1#

file_bytes_read是本地文件系统读取的字节数。假设所有Map输入数据都来自hdfs,那么在Map阶段文件中,读取的字节数应该为零。另一方面,reducer的输入文件是reduce端本地磁盘上的数据,这些本地磁盘是从map端磁盘获取的。因此,file_bytes_read表示还原器读取的总字节数。
写入的文件由两部分组成。第一部分来自Map绘制者。所有Map器都会将中间输出溢出到磁盘。Map程序写入磁盘的所有字节都将包含在文件\u bytes\u writed中。第二部分来自减速器。在shuffle阶段,所有reducer都将从Map器中获取中间数据,并合并并溢出到reducer端磁盘。还原程序写入磁盘的所有字节也将包含在文件\u bytes\u writed中。
hdfs\u bytes\u read表示作业启动时Map程序从hdfs读取的字节。这些数据不仅包括源文件的内容,还包括有关拆分的元数据。
hdfs\u bytes\u writed表示写入hdfs的字节。它是最终输出的字节数。
读取操作—读取操作的数量,如liststatus、getfileblocklocations、open等。
write operations—诸如create、append、setpermission等写入操作的数量。
http://comphadoop.weebly.com/experiment-and-results.html

相关问题