我使用linux命令行lz4来压缩csv文件。
example:-
lz4输入.csv
结果将input.csv.lz4作为输出
但是当我尝试在sparkshell中使用以下命令读取lz4文件时，结果总是空的。
val output=sparksession.read.format（“com.databricks.spark.csv”）.option（“delimiter”，“\t”）.load（“s3:///input.csv.lz4”）
output.count res:long=0
我发现lz4命令行工具可能与spark不兼容
https://forums.databricks.com/questions/7957/how-can-i-read-in-lz4-compressed-json-files.html
有人让它在spark中读取lz4文件吗。如果是，lz4文件是如何创建的？