fluentd—扩充dict中的嵌套json数组,然后将输出数组对象传递给elasticsearch

1yjd4xko  于 2021-06-14  发布在  ElasticSearch
关注(0)|答案(0)|浏览(239)

我有一些民意调查数据源,我想传递给elasticsearch:

{ "foo": { "bar": [
  {"name": "Hello", "route":"5A", "lat":"2345678", "lon":"2345678" },
  {"name": "World", "route":"5D", "lat":"8765432", "lon":"8798765" },
]}}

理想情况下,我希望将所有数组内容传递给elasticsearch以创建文档。
想要获取传入的json,将其展开,然后运行一个过滤器来添加一个新的kv对:

<filter>
  @type record_transformer
  <record>
    geo_coord "{lat},{lon}"
  </record>
</filter>

我觉得这很简单。
理想情况下,我想让fluentd处理6个网站的投票,然后像上面那样接收,并将它们作为文档提交给我设置的elastic。
我目前只是通过一个docker容器,看看我是否可以得到这一切工作,所以现在我正试图做一些简单的测试与std出来。
最终,我捕获了上面的有效负载,但是如何向每个列表项添加一个新属性呢?在我完成数据解析之后,我应该可以很容易地将它发送到elasticsearch。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题