Paddle TensorRT+多batch+非对称分辨率下的推断问题

kse8i1jr 于 2022-04-21 发布在 Java

关注(0)|答案(4)|浏览(242)

我这边在测试的时候发现一个问题，针对TensorRT版本的infer，在输入网络尺寸宽度不等于高度的时候，存在一些问题

不开启TenorRT ，多batch下一切正常
开启TensorRT，提示长度和宽度设置错误。按照提示进行宽度高度互换，所有的推断结果异常

Paddle

来源：https://github.com/PaddlePaddle/Paddle/issues/34244

4条答案

按热度按时间

cdmah0mi1#

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue、AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API，FAQ，Github Issue and AI community to get the answer.Have a nice day!

赞(0）回复(0）举报 2022-04-21

d7v8vwbk2#

1.使用TensorRT推理需要实际推理输入的shape和模型结构定义时使用的输入shape一致（可视化看到的模型输入shape）。
2.如果需要改变输入shape，可以使用config.SetTRTDynamicShapeInfo设置动态shape, api参考 https://paddleinference.paddlepaddle.org.cn/api_reference/cxx_api_doc/Config/GPUConfig.html#tensorrt
3.实际使用示例可参考https://github.com/PaddlePaddle/Paddle-Inference-Demo/blob/release/v2.1/c%2B%2B/ernie-varlen/ernie_varlen_test.cc#L37

赞(0）回复(0）举报 2022-04-21

4dbbbstv3#

1.使用TensorRT推理需要实际推理输入的shape和模型结构定义时使用的输入shape一致（可视化看到的模型输入shape）。
2.如果需要改变输入shape，可以使用config.SetTRTDynamicShapeInfo设置动态shape, api参考 https://paddleinference.paddlepaddle.org.cn/api_reference/cxx_api_doc/Config/GPUConfig.html#tensorrt
3.实际使用示例可参考https://github.com/PaddlePaddle/Paddle-Inference-Demo/blob/release/v2.1/c%2B%2B/ernie-varlen/ernie_varlen_test.cc#L37

你好，我这边有确认的，网络的设置的时候就是178110的，shape是一致的。我这边用summary也确认了的。我这边测试了宽度=高度的情况，是没有问题的，但是宽度~=高度的时候存在问题，但是我这边由于应用不希望增加resize的时间

赞(0）回复(0）举报 2022-04-21

qcbq4gxm4#

你好，我这边有确认的，网络的设置的时候就是1_78_110的，shape是一致的。我这边用summary也确认了的。我这边测试了宽度=高度的情况，是没有问题的，但是宽度~=高度的时候存在问题，但是我这边由于应用不希望增加resize的时间

从报错日志看，网络定义是1 x 78 x 110，但是您推理输入的shape是1 x 110 x 78，请检查输入数据是否正常
如果输入shape不对，除了改shape，数据的排布也需要做对应的改动

赞(0）回复(0）举报 2022-04-21