到目前为止，我的体系结构包括用于数据预处理的storm/spark流，但我在某个地方读到flume与kafka的集成有很多好处。我做实时流的5个来源，包括传感器，视频，结构化，远程通信和社会媒体数据。有人能告诉我为什么要把Kafka和Flume一起用吗？
xqnpmsa81#
您可以使用flume来确保您的消息可以很容易地收集（在收集元数据以供进一步使用时不会丢失）
您可以使用kafka来确保您的消息是正确的，并且易于使用（当您需要计算时，不会丢失或复制）
实际上，flume是作为数据采集器为收集而创建的，kafka是作为调度程序为存储和使用数据而创建的，kafka是消息队列，就像redis一样。当然，如果你愿意，你可以单独使用Flume没有Kafka。
1条答案
按热度按时间xqnpmsa81#
关于Flume
您可以使用flume来确保您的消息可以很容易地收集（在收集元数据以供进一步使用时不会丢失）
Kafka简介
您可以使用kafka来确保您的消息是正确的，并且易于使用（当您需要计算时，不会丢失或复制）
摘要
实际上，flume是作为数据采集器为收集而创建的，kafka是作为调度程序为存储和使用数据而创建的，kafka是消息队列，就像redis一样。
当然，如果你愿意，你可以单独使用Flume没有Kafka。