我在做一个项目，我想得到一些建议。我需要从网站上实时获取数据(http://www.aishub.net)并将数据存储到hdfs中（我使用hortonworks）。我读过不同的技术来做到这一点，我发现了一个叫做flume的工具（包括hortonworks）。我的问题是，你怎么看？Flume对我有帮助吗？或者你有其他技术吗？非常感谢您的回复。西蒙！
icomxhvb1#
如果您将数据源/数据接收器（hadoop）作为flume中的内置源/接收器，那么使用flume，您将能够通过编写简单的flume配置轻松完成提升/装载作业。在大多数情况下，flume确实为您提供了容错能力，但是在做出决定之前，您应该真正考虑学习新知识所花费的时间。嗯，Flume更容易学。以下是Flume中可用的源/汇列表。https://flume.apache.org/flumeuserguide.html#flume-来源
1条答案
按热度按时间icomxhvb1#
如果您将数据源/数据接收器（hadoop）作为flume中的内置源/接收器，那么使用flume，您将能够通过编写简单的flume配置轻松完成提升/装载作业。
在大多数情况下，flume确实为您提供了容错能力，但是在做出决定之前，您应该真正考虑学习新知识所花费的时间。
嗯，Flume更容易学。
以下是Flume中可用的源/汇列表。https://flume.apache.org/flumeuserguide.html#flume-来源