因此，在hdfs的/var/log/…中有一堆日志文件，它们既可以解压，也可以用snappy压缩。
如果他们不结束 .snappy 我想压缩它们，并用结尾命名它们。但我想用数据局部性来实现这一点，最好是把名字取对。
我尝试了hadoop流媒体方法。

HAD=/usr/lib/hadoop
$HAD/bin/hadoop jar $HAD/hadoop-streaming.jar \
-D mapred.output.compress=true \
-D madred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec \
-D mapred.reduce.tasks=0 \
-input /var/log/… -output /user/hadoop/working \
-mapper org.apache.hadoop.mapred.lib.IdentityMapper

但这是给一堆零件文件，似乎是一行一行地做事情。出于某种原因，它也选择了deflate。所以我得到的文件 part-00000.deflate 等等。输入就像 app_123456789_0123_1 . 我会喜欢的 app_123456789_0123_1.snappy 但这个部分甚至没有完全Map到一个完整的文件，也不是很快的编解码器。
常见问题解答说，您可以生成一个包含文件名的输入文件，然后对每个文件名执行一项任务。但是没有简单的快速压缩工具。另一个选项看起来会更好（虽然我不想构建jar，我想我可以），但是它说名称不会被保留。我想那对我毫无帮助。
有什么方法可以做到这一点，而不需要从hdfs获取文件，在本地处理文件，然后将其放回去？哪个处理文件名？