嵌入式flume代理需要hadoop才能在集群上运行吗?

inkz8wg9  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(434)

我正在尝试在我的web服务中编写嵌入式flume代理,以便将日志传输到另一个hadoop集群,在该集群中运行flume代理。为了使用嵌入式flume代理,我们需要hadoop在运行web服务的服务器上运行吗。

mklgxw1f

mklgxw1f1#

tldr:我想,没有。
较长的版本:我没有检查,但是在开发人员指南中(https://flume.apache.org/flumedeveloperguide.html#embedded-(特工)上面说
注意:嵌入式代理依赖于hadoop-core.jar。
(https://flume.apache.org/flumedeveloperguide.html#embedded-代理人)
在用户指南中(https://flume.apache.org/flumeuserguide.html#hdfs-sink),您可以指定hdfs路径:
hdfs目录路径(例如hdfs://namenode/flume/webdata/)
另一方面,您确定要使用嵌入式代理,而不是运行flume来放置数据并使用http源吗(https://flume.apache.org/flumeuserguide.html#http-源)(…或您可以向其发送数据的任何其他源)

相关问题