Paddle 离线使用PPStructure + GPU批量推理pdf页面,PPStructure只能单条推理,A100的利用率只有10%,使用多线程会报错

g9icjywg  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(53)

请提出你的问题 Please ask your question

zf2sa74q

zf2sa74q1#

您好,问题已收到,这边复现下问题,具体可能需要等到周一回复您

wr98u20j

wr98u20j2#

您好,为支持变长输入暂时仅支持单图推理,如果您的预测图像均为固定尺寸,强制修改为batch输入可提升推理效率。
另外您是如何修改成多线程的呢?方便提供可以稳定复现的最小单元吗?

相关问题