我正在启动一个nodejs应用程序，在那里我想索引ElasticSearch上的cassandra数据，但是最好的方法是什么呢？我看了一下storm来实现这一点，但似乎不是解决方案。首先，我在考虑使用一个客户端进行cassandra，一个客户端进行ElasticSearch，并在我的应用程序上应用两次插入/更新/删除，每个客户端一次，但这似乎不是解决问题的方法，我担心这一点的一致性。有没有更好的方法来传输cassandra数据，以便在ElasticSearch上建立索引？暴风雪能帮我做到吗？有人能推荐一些技术来将一个数据库数据传输到另一个数据库吗？我真的很怀疑这里没有地方找。
1条答案
按热度按时间kninwzqo1#
是否要将数据从cassandra移动到elasticsearch一次且仅移动一次？或者你想让他们保持同步？
在这两种情况下，我认为风暴是一个很好的适合。我过去曾将数据从rdbms转移到ApacheSolr中。需要记住的一点是solr/elastic搜索可以完成的写操作的限制。如果你增加了平行度，那么你就把它们放在膝盖上。
另一个选项可以是apachehadoop，但它只适用于一次复制，或者如果您想每天复制数据（昨天的相同数据+可能的新数据）。