将3.5tb数据从hadoop同步(或保持导入)到sharded mongodb群集的最快方式

oaxa6hgo  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(300)

我们的hadoop集群中有3.5tb的数据(hdfs上有)。我们新建了一个sharded mongodb集群(最新的3.x),包含3个mongos、3个configdb和3个shard(每个shard有1个主节点和2个辅助节点)
我们正在寻找最好/最快的方法将这些数据从hadoop/hdfs导入到我们新构建的sharedmongodb集群。
所有这些数据都将在mongodb集群中分片收集。
我们在这方面没有太多经验,也不知道如何在我们的环境中以最快的方式做到这一点。
如果有人能提供线索或我们可以利用的工具,我们将不胜感激。开源工具或商业工具对我们来说都是可以的。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题