当查看hdfs troughput时,testdfsio使用“mb/sec”作为度量单位。这是兆字节/秒,兆比特/秒还是兆字节/秒?我怀疑它是兆字节/秒,但找不到关于这个的清晰文档。
输出示例:
15/07/06 09:59:33 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
15/07/06 09:59:33 INFO fs.TestDFSIO: Date & time: Mon Jul 06 09:59:33 CEST 2015
15/07/06 09:59:33 INFO fs.TestDFSIO: Number of files: 10
15/07/06 09:59:33 INFO fs.TestDFSIO: Total MBytes processed: 10000.0
15/07/06 09:59:33 INFO fs.TestDFSIO: Throughput mb/sec: 17.08896343474494
15/07/06 09:59:33 INFO fs.TestDFSIO: Average IO rate mb/sec: 18.49329376220703
15/07/06 09:59:33 INFO fs.TestDFSIO: IO rate std deviation: 5.178436159603544
15/07/06 09:59:33 INFO fs.TestDFSIO: Test exec time sec: 93.996
请注意,不可能使用总MB和test exec导出单元。时间,因为吞吐量是使用Map时间的总和来度量的。
1条答案
按热度按时间cetgtptt1#
我想是每秒兆字节。来源:参考“关于数学”https://support.pivotal.io/hc/en-us/articles/200864057-running-dfsio-mapreduce-benchmark-test