我似乎有一个与互联网其他部分相反的问题——任何关于这个主题的搜索都会抛出成千上万个问题，即如何在使用spark编写时抑制crc文件。在集群上使用spark并将内容写入hdfs时，我看不到任何 .crc 我通常在本地系统上看到的文件。有没有办法“强迫”他们出现？
.crc
wwtsj6pe1#
您可以尝试下面的方法，看看.crc文件是否出现在hdfs文件夹中。
val customConf = spark.sparkContext.hadoopConfiguration val fileSystemObject = org.apache.hadoop.fs.FileSystem.get(customConf) fileSystemObject.setVerifyChecksum(true)
1条答案
按热度按时间wwtsj6pe1#
您可以尝试下面的方法，看看.crc文件是否出现在hdfs文件夹中。