使用mongodb hadoop连接器进行切分

hsgswve4  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(587)

嗨,我有同样的情况,在这个问题上提到的hadoop hdfs mapreduce输出到mongodb
我只想使用hadoop从mongodb执行map reduce(mr),然后将输出作为集合写回mongodb。虽然上面的问题还没有解决,但是我对这个场景有更多的问题。在这里,我需要将mr的输出写入mongodb shards并正确地进行切分。
我的问题是,有没有可能这样做,因为即使我使用mongodb(而不是hadoop)这样做,我也没有将输出正确地分割到分片服务器中,并且在结果上得到了重复的输出。如果可能的话怎么做?提前谢谢。

qyyhg6bp

qyyhg6bp1#

对。你照常给蒙哥写信。事实上,mongodb被设置为在shard上运行,这是一个隐藏的细节。

相关问题