从logstash生成hdfs中的输出文件时,如何删除特定列?

ibps3vxo  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(249)

我使用logstash在hdfs中存储本地日志数据。并使用配置单元外部表函数加载配置单元表。
logstash将时间戳和版本信息添加到输出中(hdfs、elastic…)。
但是,我不需要时间戳和版本,因为 logstash 到etl。
所以我想删除诸如时间戳、版本信息等字段。
日志数据如下

$ cat /$PATH/log.txt
[data] [data2] [data3]
[data] [data2] [data3]
[data] [data2] [data3]

hdfs输出文件是这样的

$ hadoop fs -cat /$PATH/log.txt
[timestamp] [version] [data] [data2] [data3]
[timestamp] [version] [data] [data2] [data3]
[timestamp] [version] [data] [data2] [data3]

如何使输出hdfs文件格式如下?

$ hadoop fs -cat /$PATH/log.txt
[data] [data2] [data3]
[data] [data2] [data3]
[data] [data2] [data3]

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题