让我们重申一下这个问题：

• 不可能将所有数据加载到存储器中（即使数据被修剪掉所有不需要的 meta数据）
• 不可能（由于技术或策略原因）首先查询数据库，然后将结果作为csv文件保存到磁盘，然后使用该csv文件。

如果我们可以实现上面的任何一个，那么我们就不会有这个问题了。我们总是以某种方式查询数据库，我们想：

• 把数据分成小块

好吧，这很简单！假设我们的数据库有一个数字主键。只需确定您希望数据包含在多少个块中，然后使用类似modulus的函数

# for 7 batches
key % 7 == 0 gets you the first batch
key % 7 == 1 gets you the second batch
... etc

好吧，你想再加一个要求

• 以随机小块的形式获取数据

嗯，这并不太难。让我们换两个随机数X（最好是素数）和Y（小于批数），做同样的事情，但像这样

# for 7 batches
( key * X + Y ) % 7 == 0 gets you the first batch
( key * X + Y ) % 7 == 1 gets you the second batch
... etc

你手边没有素数列表吗？没问题，just get a whole bunch，然后随机选一个。
对于下一个时期，使用不同的X和Y，您将得到不同的批次。