我正在寻找一个磁盘密集型的hadoop应用程序来测试hadoop中的i/o活动，但是我找不到任何这样的应用程序可以保持磁盘利用率在50%以上，或者某个这样的应用程序可以让磁盘保持忙碌。我尝试了randomwriter，但令人惊讶的是它不是磁盘i/o密集型的。
所以，我编写了一个小程序，在mapper中创建一个文件，并在其中写入一些文本。这个应用程序工作得很好，但是只有在主节点（也就是名称节点、作业跟踪器和从属节点之一）的利用率很高。在其他任务跟踪器中，磁盘利用率为零或可以忽略不计。我无法理解为什么磁盘i/o在任务跟踪器中如此之低。如果我做错了什么事，谁能把我推向正确的方向？提前谢谢。
下面是我在wordcount.java文件中编写的示例代码段，用于创建utf字符串并将其写入文件-

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path outFile;
while (itr.hasMoreTokens()) {
    word.set(itr.nextToken());
    context.write(word, one);
    outFile = new Path("./dummy"+ context.getTaskAttemptID());
    FSDataOutputStream out = fs.create(outFile);

    out.writeUTF("helloworld");
    out.close();
    fs.delete(outFile);
  }