mysql:同时从多个碎片中检索数百万行

bweufnob  于 2021-06-21  发布在  Mysql
关注(0)|答案(0)|浏览(259)

我们有2个mysql数据库(两个表都在16个分片中),有100m+行和增长/更新。出于报告目的,
我需要每天从1st db获取所有行(50m+)
我需要从2nd db中获取当天创建的所有行(50m+)
这些行可能随时更新/插入。
要求:
最小内存利用率(在写入文件之前,检索到的数据不应保存在内存中,无论是客户端还是服务器)
从数据库快照获取数据。
db snapshot,因为如果查询花费了10分钟,并且数据在b/w中发生了更改,则检索到的数据应该是午夜快照(不应该在午夜之后提取更改/更新的数据)。
有16个碎片。转储应该同时发生在所有碎片中。否则数据就会不一致。
考虑到上述要求,查询这两个表的最佳方法是什么?
注意:我试图用mysqldb编写一个python脚本,这个文档提到检索到的数据将保存在客户机内存或服务器内存中,这是我不想要的。
任何帮助都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题