我是新来的ApacheFlume。我知道apacheflume可以帮助传输数据。但我仍然没有看到apacheflume提供的最终好处。如果我可以配置一个软件或使一个软件发送哪些数据去哪里，为什么我需要flume？也许有人能解释一个显示apacheflume好处的情况？
n53p2ov01#
可靠传输（如果使用文件通道）：flume发送成批的小事件。每次向下一个节点发送批处理时，它都会在删除之前等待确认。文件通道中的存储经过优化，允许在崩溃时恢复。
iyfamqjs2#
我认为渡槽最大的好处是扩展性。基本上所有组件都从源、拦截器和接收器开始，所有组件都是可扩展的。我们使用flume并使用自定义kakfa源读取数据，数据是json格式的，我们在自定义kafka源解析它，然后将它传递给hdfs sink。它在5个节点中可靠地工作。我们只扩展了Kafka源，hdfs接收器的功能，我们得到了开箱即用。同时，作为hadoop生态系统的一员，您可以获得强大的社区支持和多种选择，以不同的方式使用这些工具。
2条答案
按热度按时间n53p2ov01#
可靠传输（如果使用文件通道）：flume发送成批的小事件。每次向下一个节点发送批处理时，它都会在删除之前等待确认。文件通道中的存储经过优化，允许在崩溃时恢复。
iyfamqjs2#
我认为渡槽最大的好处是扩展性。基本上所有组件都从源、拦截器和接收器开始，所有组件都是可扩展的。
我们使用flume并使用自定义kakfa源读取数据，数据是json格式的，我们在自定义kafka源解析它，然后将它传递给hdfs sink。它在5个节点中可靠地工作。我们只扩展了Kafka源，hdfs接收器的功能，我们得到了开箱即用。
同时，作为hadoop生态系统的一员，您可以获得强大的社区支持和多种选择，以不同的方式使用这些工具。