hadoop上orc的内存管理

tuwxkamq  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(271)

我有一个用例,我必须同时从单个hadoopMap器中打开和读取大量orc文件。由于orc的条带缓存,每个文件需要256mb,我的Map器堆空间不足。虽然我知道我可以增加Map器内存以避免内存问题,但是有没有更好的方法可以在较少的内存中实现这一点。请注意,我只能通过一个hadoopMap器同时打开所有这样的文件,我不能预压缩它们或在Map器之间分发它们,因为洗牌不是我的选择。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题