我在hdfs上有很多tar.gz文件的日常文件夹，其中包含大量文本文件。
许多tar.gz被发现已损坏，并导致hive/mapreduce作业在处理这些文件时崩溃，出现“意外的流结束”。
我确定了其中一些，并用tar-zxvf测试了它们。它们确实会带着错误退出，但仍然会在此之前提取相当数量的文件。
有没有办法阻止hive/mapreduce作业在tar/gz文件损坏时崩溃？我测试了一些跳过错误和容错参数，例如
mapred.skip.attempts.to.start.skipping，
mapred.skip.map.max.skip.records记录，
mapred.skip.mode.enabled，
mapred.map.max.尝试次数，
mapred.max.map.failures.percent，
mapreduce.map.failures.maxpercent。
在少数情况下，它有助于在不崩溃的情况下处理完整的文件夹，但主要是这会导致作业挂起而根本无法完成。
解压缩hadoop之外的每个文件只是为了在下载后重新压缩它们（以获得干净的gzip文件），然后再次上传到hdfs将是一个非常痛苦的过程（因为这将产生额外的步骤和大量的数据）
有人找到了更干净/更优雅的解决方案吗？
谢谢你的帮助。