你好，我在HDFS中实现了一项新技术，以提高存储，吞吐量和访问时间。我需要测量HDFS上现有文件的读/写性能，我发现了这个基准测试TestDFSIO。
hadoop jar hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -read -nrFiles 100 -fileSize 80MB -resFile /TestDFSIOwrite.txt
如何指定此jar文件在HDFS上的现有文件上执行
y3bcpkx11#
如果查看一下DFSIO源代码，可以看到配置从多个文件加载到config变量中。
config
private Configuration config; static{ Configuration.addDefaultResource("hdfs-default.xml"); Configuration.addDefaultResource("hdfs-site.xml"); Configuration.addDefaultResource("mapred-default.xml"); Configuration.addDefaultResource("mapred-site.xml"); }
在getReadDir方法中，它在这里读取目录。
getReadDir
private static Path getReadDir(Configuration conf) { return new Path(getBaseDir(conf), "io_read"); }
因此，您可以尝试将io_read配置添加到mapred-site.xml中，看看会发生什么。
io_read
mapred-site.xml
1条答案
按热度按时间y3bcpkx11#
如果查看一下DFSIO源代码，可以看到配置从多个文件加载到
config变量中。在
getReadDir方法中，它在这里读取目录。因此，您可以尝试将
io_read配置添加到mapred-site.xml中，看看会发生什么。