有没有办法将ElasticSearch设置为Fluentd的源？所有文档都描述了如何将ES设置为目的地，但我有一些数据必须由Fluentd处理并交付给Kafka主题。ES -〉Fluentd -〉Kafka
bis0qfac1#
我认为你可以使用fluentd http输入插件来完成这个。https://www.rubydoc.info/gems/fluent-plugin-http-pull/0.8.3我无法直接尝试，但下面是一个示例配置：
<source> @type http_pull tag status url http://your-cluster:9200/your-index/_search interval 10s format json </source>
您也可以发送发布请求。https://www.rubydoc.info/gems/fluent-plugin-http-pull/0.8.3#http_method-enum-optional-default-get我认为这对时间序列数据很好，你可以通过过滤最近的数据来获取数据，插件会每10秒获取一次，等等，或者你想要的任何范围。但是我不知道你怎么能对已经索引的数据进行分页。
1条答案
按热度按时间bis0qfac1#
我认为你可以使用fluentd http输入插件来完成这个。
https://www.rubydoc.info/gems/fluent-plugin-http-pull/0.8.3
我无法直接尝试，但下面是一个示例配置：
您也可以发送发布请求。
https://www.rubydoc.info/gems/fluent-plugin-http-pull/0.8.3#http_method-enum-optional-default-get
我认为这对时间序列数据很好，你可以通过过滤最近的数据来获取数据，插件会每10秒获取一次，等等，或者你想要的任何范围。但是我不知道你怎么能对已经索引的数据进行分页。