在使用t_ocr.py和t_recognizer.py时,发现源码中默认使用CPU。后来改为使用GPU处理,但发现OCR模型和TSR模型的处理速度比使用CPU还慢(没有任何报错或警告出现,且GPU也有占用),但是layout模型正常。重复测试过很多PDF都是一样的问题。请问是什么原因?
以下是中文翻译:
在使用t_ocr.py和t_recognizer.py时,我发现源码中默认使用CPU。后来改为使用GPU处理,但发现OCR模型和TSR模型的处理速度比使用CPU还慢(没有任何报错或警告出现,且GPU也有占用),但是layout模型正常。我重复测试了很多PDF文件,都发现了同样的问题。请问这是什么原因?
6条答案
按热度按时间sy5wg1nm1#
这是一个ONNX模型。你可以尝试安装onnxruntime-gpu。
pkwftd7m2#
感谢你的回复!没太理解你的意思,能否具体一点了?我确实是安装的onnxruntime-gpu,所用的版本也是requirements.txt中对应的版本。Thank you for your reply! I didn't quite understand your meaning, could you be more specific? I did indeed install onnxruntime gpu, and the version used is also the corresponding version in requirements. txt.
lpwwtiir3#
解:目前只是修改了$ocr.py$和$recognizer.py$中的如图所示的代码,将"False and"删除以启用GPU推理,并在对应的providers中添加了"CPUExecutionProvider"。模型文件是从huggingface中下载的,其余代码并未改动,测试时使用t_ocr.py和t_recognizer.py,仅修改待解析的文件路径。
目前只修改了$ocr.py$和$recognizer.py$中如图所示的代码,去掉“False and”以启用GPU推理,并在相应的providers中添加“CPUExecutionProvider”。模型文件是从huggingface下载的,其余代码未更改,测试时使用t_ocr.py和t_recognizer.py,仅修改待解析的文件路径。
gudnpqoy4#
我在这里还没有找到其他解决方案。
也许你可以在谷歌上搜索一下。
8yparm6h5#
感谢回复!我看到微信群里有人和我是一样的情况,你的意思是你们本地测试是正常的吗?
Thank you for your reply! I saw someone in the WeChat group in the same situation as me. Do you mean that your local testing is normal?
ybzsozfc6#
感谢回复!我看到微信群里有人和我是一样的情况,你的意思是你们本地测试是正常的吗? Thank you for your reply! I saw someone in the WeChat group in the same situation as me. Do you mean that your local testing is normal?
请问你有找到解决方法吗,即使提高了batch 我用GPU也是速度变慢了许多