在spark中压缩objectfiles

x4shl7ld  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(127)

实际上,这是一个相当简单的问题,使用saveastextfile,我们可以指定压缩:

def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit

但我发现在saveasobjectfile上缺少。除了将所有的使用移到Dataframe之外,我还有什么压缩文件的选项?
我试过设置这些

spark.conf.set("spark.checkpoint.compress", "true")
spark.conf.set("spark.rdd.compress", "true")

spark.conf.set("spark.io.compression.codec", "snappy")

没有运气。
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题