java索引的.lzo日志文件执行速度慢于.gz compressionxt

kulphzqa  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(233)

我将一些日志文件压缩为lzo设置7,gzip压缩为默认压缩,结果如下:
mapreduce作业结束:
1gb.gz文件-340秒
1gb.lzo文件未索引-410秒
1gb.lzo文件索引-380秒
mapreduce作业只是利用hadoop lzo库的lzotextinputformat类,而不是通常的textinputformat类。这是唯一的区别。
我看到37个map任务通过并分割了作业并使用了.index文件,但是性能还有很多需要改进的地方。有什么想法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题