我有一个用例,我必须同时从单个hadoopMap器中打开和读取大量orc文件。由于orc的条带缓存,每个文件需要256mb,我的Map器堆空间不足。虽然我知道我可以增加Map器内存以避免内存问题,但是有没有更好的方法可以在较少的内存中实现这一点。请注意,我只能通过一个hadoopMap器同时打开所有这样的文件,我不能预压缩它们或在Map器之间分发它们,因为洗牌不是我的选择。
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!