如何从sql转储导入mongodb?

lxkprmvk  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(885)

我正在尝试从导入数据 MySQL 倾倒 .sql 要导入mongodb的文件。但我看不到rdbms到nosql数据迁移的任何机制。
我试着把数据转换成 JSON and CSV 但在mongodb中,它并没有给m提供所需的输出。
我想试试 Apache Sqoop 但hadoop主要是针对sql或nosql的。
我不明白,怎么可能把数据从“mysql”迁移到“mongodb”?
除了我迄今为止所做的努力,我还有什么想法吗?
希望听到一个更好更快的解决这类迁移的方法。

h4cxqtbf

h4cxqtbf1#

您可以使用mongify,它可以帮助您将数据从基于sql的系统移动/迁移到mongodb。支持mysql、postgresql、sqlite、oracle、sqlserver和db2。
要求 ruby 以及 rubygems 作为先决条件。请参阅本文档以安装和配置mongify。

1aaf6o9v

1aaf6o9v2#

我建议您将mysql数据转储到csv文件中,也可以尝试其他文件格式,但请确保文件格式友好,以便您可以轻松地将数据导入mongodb,mongodb和mysql都非常支持csv文件格式。
您可以尝试使用mysqldump或outfile关键字转储mysql数据库进行备份,使用mysqldump可能需要很长时间,那么看看如何优化大型数据库的mysqldump?。
然后使用mongoimport工具导入数据。
据我所知,有三种方法可以优化此导入:
mongoimport—numinsertionworkers n它将启动几个插入worker,n可以是核心数。
mongod--njournal大多数连续磁盘使用都来自日志,因此禁用日志可能是一种很好的优化方法。
分开你的文件,开始并行作业。
实际上在我看来,导入数据和导出数据并不困难,似乎您的数据集很大,所以如果您不设计文档结构,仍然会使您的代码速度变慢,不建议进行从关系数据库到mongodb的自动迁移,数据库性能可能不好。
因此,设计您的数据结构是值得的,您可以检查数据模型。
希望这有帮助。

相关问题