实际上,这是一个相当简单的问题,使用saveastextfile,我们可以指定压缩:
def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit
但我发现在saveasobjectfile上缺少。除了将所有的使用移到Dataframe之外,我还有什么压缩文件的选项?
我试过设置这些
spark.conf.set("spark.checkpoint.compress", "true")
spark.conf.set("spark.rdd.compress", "true")
spark.conf.set("spark.io.compression.codec", "snappy")
没有运气。
谢谢
暂无答案!
目前还没有任何答案,快来回答吧!