有没有一种好的方法可以将beanstalkd与hadoop集成在一起?

juzqafwq  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(361)

我使用beanstalkd从多个前端服务器(php应用程序)收集日志数据,并将数据插入mysql。只要数据增长了,我就需要选择hadoop来使用hive分析双用途数据。将Beanstalk与hadoop集成的最佳实践是什么?我找到了flumeng,但它似乎太重了,我不需要。

8fq7wneg

8fq7wneg1#

很有趣的问题。
checkout 独白,这里是一个伟大的教程处理日志与fluentd。
你可能想考虑一个“三角”服务,laravel附带monolog,也支持beanstalkd,你可以通过composer fluentd快速添加。所以你可以有一个laravel应用程序,在你的管道上有工人,并转发到fluentd。fluentd有一些很棒的特性,比如延迟日志和标签。不确定您将如何处理延迟日志或日志上的标记,但您可能已经在tube消息中有了这些标记。
您可以使用beanstalkd控制台来查看您的作业并帮助您进行开发。

相关问题