无法解压缩通过flume spool目录传输到hdfs的gz文件

k5ifujac  于 2021-06-04  发布在  Flume
关注(0)|答案(0)|浏览(323)

我正在使用spooldir源代码将.gz文件从spooldir目录移动到hdfs。我正在使用以下配置,

a1.channels = ch-1  
a1.sources = src-1  
a1.sinks = k1  

a1.channels.ch-1.type = memory  
a1.channels.ch-1.capacity = 1000  
a1.channels.ch-1.transactionCapacity = 100  

a1.sources.src-1.type = spooldir  
a1.sources.src-1.channels = ch-1  
a1.sources.src-1.spoolDir = /path_to/flumeSpool  
a1.sources.src-1.deserializer=org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder  
a1.sources.src-1.basenameHeader=true  
a1.sources.src-1.deserializer.maxBlobLength=400000000  

a1.sinks.k1.type = hdfs  
a1.sinks.k1.channel = ch-1  
a1.sinks.k1.hdfs.path = hdfs://{namenode}:8020/path_to_hdfs  

a1.sinks.k1.hdfs.useLocalTimeStamp = true  
a1.sinks.k1.hdfs.rollInterval =100  
a1.sinks.k1.hdfs.rollCount=0  
a1.sinks.k1.hdfs.rollSize=0  
a1.sinks.k1.hdfs.fileType = CompressedStream  
a1.sinks.k1.hdfs.codeC=gzip  
a1.sinks.k1.hdfs.callTimeout=120000

========================================
所以文件确实会被传输到hdfs,但它会在末尾附加时间(单位:millis.gz)。另外,当我尝试在hdfs中压缩文件(通过终端复制)时,文件中会显示未知字符。所以不知道发生了什么。
我想保持相同的文件名后传输到hdfs
我想能够解压缩文件和阅读内容
有人能帮忙吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题