我正在读Kafka的数据，并沉入hdfs。flume有没有办法压缩数据并存储在hdfs中(数据在Kafka中没有压缩）
pxq42qpu1#
尝试在接收器配置中设置这两个参数：hdfs.codeC= one of following -> gzip, bzip2, lzo, lzop, snappy hdfs.fileType=CompressedStream 有关更多信息，请参阅《flume用户指南》
hdfs.fileType=CompressedStream
1条答案
按热度按时间pxq42qpu1#
尝试在接收器配置中设置这两个参数：
hdfs.codeC= one of following -> gzip, bzip2, lzo, lzop, snappy
hdfs.fileType=CompressedStream有关更多信息，请参阅《flume用户指南》