当我尝试使用spark将Dataframe写入csv文件时，会生成一些csv.crc文件。因此，我想删除所有扩展名为.csv.crc的文件
val fs = FileSystem.get(existingSparkSession.sparkContext.hadoopConfiguration)
val srcPath=new Path("./src/main/resources/myDirectory/*.csv.crc")
println(fs.exists(srcPath))
println(fs.isFile(srcPath))
if(fs.exists(srcPath) && fs.isFile(srcPath)) {
fs.delete(srcPath,true)
}两条prinln行的值都为false。因此它甚至没有进入if状态。如何使用scala和spark删除所有.csv.crc文件
1条答案
按热度按时间piwo6bdm1#
您可以使用下面的选项来避免在写入时使用crc文件（注意：您正在消除校验和）。
fs.setVerifyChecksum(false).否则你可以在阅读时避免使用下面的crc文件，
config.("dfs.client.read.shortcircuit.skip.checksum", "true").