我使用beanstalkd从多个前端服务器(php应用程序)收集日志数据,并将数据插入mysql。只要数据增长了,我就需要选择hadoop来使用hive分析双用途数据。将Beanstalk与hadoop集成的最佳实践是什么?我找到了flumeng,但它似乎太重了,我不需要。
8fq7wneg1#
很有趣的问题。checkout 独白,这里是一个伟大的教程处理日志与fluentd。你可能想考虑一个“三角”服务,laravel附带monolog,也支持beanstalkd,你可以通过composer fluentd快速添加。所以你可以有一个laravel应用程序,在你的管道上有工人,并转发到fluentd。fluentd有一些很棒的特性,比如延迟日志和标签。不确定您将如何处理延迟日志或日志上的标记,但您可能已经在tube消息中有了这些标记。您可以使用beanstalkd控制台来查看您的作业并帮助您进行开发。
1条答案
按热度按时间8fq7wneg1#
很有趣的问题。
checkout 独白,这里是一个伟大的教程处理日志与fluentd。
你可能想考虑一个“三角”服务,laravel附带monolog,也支持beanstalkd,你可以通过composer fluentd快速添加。所以你可以有一个laravel应用程序,在你的管道上有工人,并转发到fluentd。fluentd有一些很棒的特性,比如延迟日志和标签。不确定您将如何处理延迟日志或日志上的标记,但您可能已经在tube消息中有了这些标记。
您可以使用beanstalkd控制台来查看您的作业并帮助您进行开发。