flume将输出格式从.csv更改为.json

ohtdti5x  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(547)

我正在使用flume的node-only(测试)模式;Flume的启动方式如下:
flume节点-1-c$fqdn“:amqp(“exchangename=[exchange name],”bindings=[binding name],”host=127.0.0.1“,”port=5672“,”username=[user],”password=[pass],”exchangetype=direct“,”durableexchange=false“,”queuename=[queue name],”durablequeue=true“,”exclusivequeue=false“,”autodeletequeue=false“,“usemessagetimestamp=true”)| collectorsink(“s3n://[amazon key]:[amazon secret]@[path at s3],“server”);”-s“$@”>“$log”2>&1
我有兴趣用flume传递.csv文件。不幸的是,flume将.csv文件转换为.json,添加了一些字段。
例子:
原始信息:

"a,b,c"

flume将消息转换为:

{"body":"\""a,b,c\"","timestamp":1345380385605,"pri":"INFO","nanos":275832626718182,"host":[host name],"fields":{"rolltag":"20120819-124542793+0000.275789814494811.00000011"}}

如何配置flume以按原样传递消息?

2jcobegt

2jcobegt1#

您只需解析json并提取“body”标记。

相关问题