我使用logstash在hdfs中存储本地日志数据。并使用配置单元外部表函数加载配置单元表。
logstash将时间戳和版本信息添加到输出中(hdfs、elastic…)。
但是,我不需要时间戳和版本,因为 logstash
到etl。
所以我想删除诸如时间戳、版本信息等字段。
日志数据如下
$ cat /$PATH/log.txt
[data] [data2] [data3]
[data] [data2] [data3]
[data] [data2] [data3]
hdfs输出文件是这样的
$ hadoop fs -cat /$PATH/log.txt
[timestamp] [version] [data] [data2] [data3]
[timestamp] [version] [data] [data2] [data3]
[timestamp] [version] [data] [data2] [data3]
如何使输出hdfs文件格式如下?
$ hadoop fs -cat /$PATH/log.txt
[data] [data2] [data3]
[data] [data2] [data3]
[data] [data2] [data3]
暂无答案!
目前还没有任何答案,快来回答吧!