我有一个POST API，它获取数据的限制是25000。有将近1600000条记录。但是当在一个应用程序中获取数据时，它被1250000条记录卡住了。该怎么办？它在 Postman 上工作得很好，但我注意到的是它每次循环记录25000条。也许这需要时间，服务器无法处理请求？
g52tjvyc1#
我的建议是在这种情况下进行分页。你可以以排序的方式读取记录，下次当你获取下一个25k记录时，传递你读取的最后一个排序键。这是一个标准的方式来获取数据，因为你不能要求160k记录在同一时间从数据库。这将把大量的负荷数据库。另外，当获取25K时，你可以在批处理中这样做，以避免内存占用。也许在1K的批处理中。
1条答案
按热度按时间g52tjvyc1#
我的建议是在这种情况下进行分页。你可以以排序的方式读取记录，下次当你获取下一个25k记录时，传递你读取的最后一个排序键。
这是一个标准的方式来获取数据，因为你不能要求160k记录在同一时间从数据库。这将把大量的负荷数据库。
另外，当获取25K时，你可以在批处理中这样做，以避免内存占用。也许在1K的批处理中。