批量分析会影响couchbase性能吗?

zsohkypk  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(320)

假设许多应用程序使用相同的couchbase后端,我想对它们生成的数据执行一些批处理分析。如果我在couchbase中使用map/reduce功能,那么考虑到db仍然必须能够存储来自正在运行的应用程序的新数据,这会导致任何问题吗?
如果mongo与couchbase联合运行,所有应用程序都会将数据存储到couchbase,而这些数据会被复制到mongo,这会不会有些过分呢。然后使用mongo(和mongohadoop连接器)进行分析。

x8goxv8g

x8goxv8g1#

好的,您真的需要添加更多关于需要运行的查询以及存储的数据类型和结构的细节。我会尽量回答你的每一个问题。
把mongo和couchbase联合起来运行会不会太过了?
是的,绝对如此!这听起来是个坏主意,两者都用不同的优点和缺点填充相同的空间(文档存储)。
couchbase是否可以减少map,并且仍然提供高水平的读写服务?
当然可以,但是couchbase中的视图最终是一致的,其中as key/access始终是一致的。您可以将视图更改为一致的,但是map/reduce作业必须运行更多(stale=false标志),这将影响数据返回的速度。
couchbase有一个elasticsearch和hadoop连接器,允许数据从集群自动复制到es或hadoop。就个人而言,我们使用elasticsearch进行更高级的分析/自由文本搜索,而不会影响我们的couchbase集群。
mongodb还是couchbase?
我们在生产中使用couchbase,但mongodb也能胜任相同的角色(查询也更灵活)。mongodb还可以轻松地与hadoop/elasticsearch集成。
我真的会回去看看你的数据,你需要如何访问它和大量的数据,很可能hadoop或es会被过度使用。
如果您需要能够识别支出模式或按天/小时/分钟对事件进行分组,那么任何一个文档存储都可以轻松地处理。
我相信有生产蒙哥经验的人也会插手!

fnx2tebb

fnx2tebb2#

是的,您可以在couchbase集群上使用map/reduce功能…您需要添加更多节点以提高集群的吞吐量(水平缩放)…因此它将拥有更多的计算能力来服务客户端的并发请求,并维护map/reduce视图。
至于数据卸载到其他地方,您可以使用xdcr(跨数据中心复制)功能,并在另一个couchbase集群中保持数据同步,该集群可能仅用于map/reduce功能。所以你根本不需要使用mongodb。。。事实上viber已经用couchbase取代了mongodb

相关问题