我正在运行一个emr作业，它输出几千千兆字节的数据。每个map任务输出10gb的数据，据我所知，这些中间输出存储在运行map任务的机器的磁盘上。因此，在同一台机器处理了多个map任务之后，磁盘上存储这些map任务中间结果的空间就用完了。我知道如何在s3上存储最终结果（在运行reducer之后），但是有没有办法将中间输出（Map器的结果）也存储在s3上？
不幸的是，仅仅分配更多的机器（或具有更多内存的机器）并不是一个实际的解决方案，因为我将在几百TB的数据上运行相同的作业。
任何帮助都将不胜感激。