python 是否有办法让单个GPU和模型并行运行深度学习模型预测/推理

dsekswqp 于 2022-12-10 发布在 Python

关注(0)|答案(1)|浏览(168)

如果有一个8 G-RAM GPU，并且加载了一个占用所有8 G RAM的模型，是否可以并行运行多个模型预测/推理？
或者只能在同一时间段运行预测

来源：https://stackoverflow.com/questions/74741987/is-there-a-way-for-a-single-gpu-and-model-to-run-deep-learning-model-prediction

1条答案

按热度按时间

如果您的单个模型使用了全部8gb的RAM，那么就不可能使用相同的资源并行运行另一个模型。您必须分配更多的内存或安排第二个模型在以后运行。

赞(0）回复(0）举报 2022-12-10

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 4个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 4个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 4个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 4个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 4个月前