所以据我所知,这些Map程序有一个循环缓冲区,当它们决定将数据溢出到磁盘时,它们会一直写入该缓冲区,直到达到某个阈值。这个过程可能需要运行一个组合器,并在写入磁盘时压缩数据。所以,我在想,我们是否可以配置压缩内存中的数据并将其存储在内存中,这样在Map器的末尾,它就不会溢出其循环内存,因此只需要溢出一次到磁盘。这可能吗?和/或有用?谢谢
fae0ux8s1#
是的,这是可能的,也是一个有用的优化。它不能很好地与组合器一起工作,因为您需要在写入之前再次解压缩缓冲区,因此您需要注意,如果定义了组合器,您将返回到旧的行为。
1条答案
按热度按时间fae0ux8s1#
是的,这是可能的,也是一个有用的优化。它不能很好地与组合器一起工作,因为您需要在写入之前再次解压缩缓冲区,因此您需要注意,如果定义了组合器,您将返回到旧的行为。