如何在python中将大数据存储为全局变量?

juzqafwq  于 2021-06-07  发布在  Redis
关注(0)|答案(0)|浏览(324)

我的dash应用程序放在远程办公室的服务器上有问题。运行该应用程序的两个用户将体验到由于表导入和表定价(定价代码约为10000行,拉出8个表)而产生的交互。当我在互联网上查看时,我发现要解决这个问题,创建html.div并在json中进行Dataframe对话就足够了。但是,这个解决方案是不可能的,因为我必须存储9个表,总共200000行和500列。所以,我研究了缓存解决方案。但是,此选项不会产生错误,但会显著增加程序的执行时间。从一个20000辆的表到200000辆的表,它几乎增加了*1000的计算时间,而且每次我更改图形的设置都很糟糕。
我使用缓存文件系统,我使用了下面的示例4:https://dash.plotly.com/sharing-data-between-callbacks. 通过做一些时间计算,我注意到问题不是访问缓存(大约1秒),而是将json表转换为dataframe(每次回调大约60秒)。大约60秒也是对应于定价的时间,因此在回调中调用缓存和在回调中定价是一样的。
1/你有没有办法保存一个Dataframe,而不是以缓存的形式保存一个json,或者使用不可见的html.div、cookie系统或其他任何方法?
2/对于redis或memcached,我们必须提供返回json吗?
2/如果是这样,我们如何设置它,以前面链接中的示例4为例,因为我有一个错误“redis.exceptions.connectionerror:error 10061 connecting to localhost:6379。无法建立连接,因为目标计算机明确拒绝了它。“?
3/您还知道关闭应用程序是否会自动删除缓存而不遵循默认的\u超时吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题