使用kafka、storm和elasticsearch构建数据管道

bd1hkmkf 于 2021-06-08 发布在 Kafka

关注(0)|答案(1)|浏览(399)

我有一个传入的数据流（从网站上刮下来的数据），需要以不同的格式进入不同的系统。流以json格式非常详细地到达，应该被推送到elasticsearch中，但是这些数据的一些聚合应该被添加到关系数据库甚至图形数据库中。这是kafka/storm的一个很好的使用案例吗？elasticsearch、neo4j等都有消费者？另外，我想从初始流中获得一些监控系统的信息，这样我也可能有一个监控使用者。如果这个用例考虑像kafka和storm这样的东西有意义的话，这更像是一个架构问题。谢谢菲利普

elasticsearch apache-kafka neo4j apache-storm monitoring

来源：https://stackoverflow.com/questions/39097138/building-data-pipeline-with-kafka-storm-and-elasticsearch