当我在spark cluster上处理一个大文件时，内存不足。我知道我可以扩展堆的大小。但在更一般的情况下，我认为这不是一个好方法。我很好奇把大文件分批分成小文件是个不错的选择。所以我们可以批量处理小文件而不是大文件。