关闭。这个问题需要更加突出重点。它目前不接受答案。**想改进这个问题吗?**通过编辑这篇文章更新这个问题,使它只关注一个问题。
5年前关门了。改进这个问题有人能详细解释一下下列文件系统计数器的含义吗?文件\字节\读取文件\u字节\u写入文件读取操作文件\u大\u读操作\u文件写入操作hdfs\字节\读取hdfs\写入字节 hdfs读取操作hdfs\大\读\操作写操作
n3schb8v1#
file_bytes_read是本地文件系统读取的字节数。假设所有Map输入数据都来自hdfs,那么在Map阶段文件中,读取的字节数应该为零。另一方面,reducer的输入文件是reduce端本地磁盘上的数据,这些本地磁盘是从map端磁盘获取的。因此,file_bytes_read表示还原器读取的总字节数。写入的文件由两部分组成。第一部分来自Map绘制者。所有Map器都会将中间输出溢出到磁盘。Map程序写入磁盘的所有字节都将包含在文件\u bytes\u writed中。第二部分来自减速器。在shuffle阶段,所有reducer都将从Map器中获取中间数据,并合并并溢出到reducer端磁盘。还原程序写入磁盘的所有字节也将包含在文件\u bytes\u writed中。hdfs\u bytes\u read表示作业启动时Map程序从hdfs读取的字节。这些数据不仅包括源文件的内容,还包括有关拆分的元数据。hdfs\u bytes\u writed表示写入hdfs的字节。它是最终输出的字节数。读取操作—读取操作的数量,如liststatus、getfileblocklocations、open等。write operations—诸如create、append、setpermission等写入操作的数量。http://comphadoop.weebly.com/experiment-and-results.html
1条答案
按热度按时间n3schb8v1#
file_bytes_read是本地文件系统读取的字节数。假设所有Map输入数据都来自hdfs,那么在Map阶段文件中,读取的字节数应该为零。另一方面,reducer的输入文件是reduce端本地磁盘上的数据,这些本地磁盘是从map端磁盘获取的。因此,file_bytes_read表示还原器读取的总字节数。
写入的文件由两部分组成。第一部分来自Map绘制者。所有Map器都会将中间输出溢出到磁盘。Map程序写入磁盘的所有字节都将包含在文件\u bytes\u writed中。第二部分来自减速器。在shuffle阶段,所有reducer都将从Map器中获取中间数据,并合并并溢出到reducer端磁盘。还原程序写入磁盘的所有字节也将包含在文件\u bytes\u writed中。
hdfs\u bytes\u read表示作业启动时Map程序从hdfs读取的字节。这些数据不仅包括源文件的内容,还包括有关拆分的元数据。
hdfs\u bytes\u writed表示写入hdfs的字节。它是最终输出的字节数。
读取操作—读取操作的数量,如liststatus、getfileblocklocations、open等。
write operations—诸如create、append、setpermission等写入操作的数量。
http://comphadoop.weebly.com/experiment-and-results.html