flume有几个第三方插件来支持amqp源代码。为什么我们要将消息发送到rabbitmq或qpid,然后发送到flume而不是直接发送到flume?我错过什么了吗?
另外,在什么情况下我应该使用消息传递队列,如qpid、rabbitmq和when,如flume?我读了qpid,rabbitmq担保订购交货,这在我的情况下并不重要。还有什么不同吗?
我们可以动态地向正在运行的flume代理添加通道和接收器吗?向带有文件滚动接收器的源添加一个新通道,它不需要任何代码更改,只需要更改conf文件并重新启动。是否有一种方法可以动态地执行此操作,即不重新启动flume代理
1条答案
按热度按时间ztigrdn81#
这基本上取决于你的用例。正如您所提到的,在您的用例中,订单交付并不重要,那么可能是flume适合的。flume实际上更快,因为它有一个更便宜的容错设置。有关详细信息,请查看此链接。
此外,flume在处理hadoop环境(hdfs作为一个接收器)时非常适合,因为它实际上是从hadoop环境演变而来的。出于同样的原因,您还会看到一些用例,其中rabbitmq(作为源)消息被推送到flume中。