在MariaDB中查询1亿行而不会耗尽RAM(PowerBI)

kse8i1jr  于 2023-04-30  发布在  其他
关注(0)|答案(1)|浏览(185)

我有一台Windown电脑,内存16 GB,数据量约1亿行。当在cmd中查询“select * from table”时,所有的ram都用完了,我看到一个“客户端内存不足”的错误。我一直在尝试调整MariaDB的配置,但没有取得太大进展。
我不需要存储/显示数据。最终,我已经将我的数据库连接到PowerBI,并试图可视化那里的数据。导入模式在5小时后重新调整超时错误(我每个用户都有溢价),直接查询返回“视觉超出可用资源”。..更多详情:XML for Analysis请求在完成之前超时。超时值:225秒。”即使我能想出如何用MariaDB增加超时值,也需要太长时间。我对使用增量刷新感到紧张,因为我将无法下载报告并进行真实的的更改,并且因为初始刷新仍然会超时。
人们如何处理报告中有1亿多行数据的情况?他们使用什么类型的数据库和连接?
任何提示都很感谢,谢谢!

lkaoscv7

lkaoscv71#

增量刷新建立在分区之上。因此,刷新将为每个分区发送一个查询,您可以配置并行度。
增量刷新的最佳实践是将报表和数据集分开。pbix文件,因此您可以下载报告。pbix,并且您不必在每次更改后进行完全刷新。
并在数据集中设置RangeStart/RangeEnd参数。pbix到小范围的桌面测试。增量刷新策略仅在Power BI Service中刷新时运行。

相关问题