当我在spark cluster上处理一个大文件时,内存不足。我知道我可以扩展堆的大小。但在更一般的情况下,我认为这不是一个好方法。我很好奇把大文件分批分成小文件是个不错的选择。所以我们可以批量处理小文件而不是大文件。
ix0qys7i1#
我也遇到过oom问题。由于spark使用内存进行计算,所以数据、中间文件等都存储在内存中。我认为缓存或持久化会有所帮助。您可以将存储级别设置为内存\和磁盘\用户。
1条答案
按热度按时间ix0qys7i1#
我也遇到过oom问题。由于spark使用内存进行计算,所以数据、中间文件等都存储在内存中。我认为缓存或持久化会有所帮助。您可以将存储级别设置为内存\和磁盘\用户。