嗨,我有同样的情况,在这个问题上提到的hadoop hdfs mapreduce输出到mongodb
我只想使用hadoop从mongodb执行map reduce(mr),然后将输出作为集合写回mongodb。虽然上面的问题还没有解决,但是我对这个场景有更多的问题。在这里,我需要将mr的输出写入mongodb shards并正确地进行切分。
我的问题是,有没有可能这样做,因为即使我使用mongodb(而不是hadoop)这样做,我也没有将输出正确地分割到分片服务器中,并且在结果上得到了重复的输出。如果可能的话怎么做?提前谢谢。
1条答案
按热度按时间qyyhg6bp1#
对。你照常给蒙哥写信。事实上,mongodb被设置为在shard上运行,这是一个隐藏的细节。