解压缩hadoop兼容的snappy文件

u0sqgete  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(412)

firehose正在以snappy压缩格式将数据推送到s3,其帧格式与hadoop兼容。我正在下载snappy文件,并尝试使用这个库在scala中解压。

val input: Array[Byte] = Files.readAllBytes(Paths.get("/path/to/prod-a8d272bb-b7af-4141-bdba-6965b343a75f.snappy"))

val uncompressed: Array[Byte] = Snappy.uncompress(input)

这会引发错误

Exception in thread "main" java.io.IOException: FAILED_TO_UNCOMPRESS(5)
    at org.xerial.snappy.SnappyNative.throw_error(SnappyNative.java:98)

可以使用snappyhadoopcompatibleoutputstream生成hadoopsnappy兼容的压缩流,但是在我的例子中,我需要解压缩已经生成的压缩文件。有这个图书馆吗?如果没有,还有别的图书馆我可以用吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题