我正在为我们的网络财产提供分析,基于我们通过一个简单的图像信标收集的仪器数据。我们的数据管道是从flume开始的,我需要最快的方法来解析查询字符串参数,形成一个简单的文本消息并将其推入flume。
出于性能原因,我倾向于nginx。因为已经支持从内存提供静态图像,所以我的任务减少到处理querystring和将消息转发到flume。因此,问题是:
将nginx与flume集成的最简单可靠的方法是什么?我正在考虑使用syslog(flume支持syslog监听器),但如何配置nginx将自定义日志消息转发给在远程服务器和自定义端口上运行的syslog(或者只是tcp)监听器,这让我很费劲。nginx是否可以使用现有的第三方模块,或者我是否需要自己编写模块?
另外,如果您能为编写快速$args解析器提供任何建议,我们将不胜感激。
如果您认为我走的是一条完全错误的道路,并且可以推荐性能更好的产品,请随时告诉我。
提前谢谢!
1条答案
按热度按时间luaexgnf1#
你应该像这样解析nginx日志文件
tail -f
然后将结果传递给Flume。这将是最简单和可靠的方法。syslog的问题是它会阻塞nginx,并且在高负载或出现问题时可能会完全卡住(这就是nginx不支持它的原因)。