最新下载的ncnn代码。yolov3模型,转param和bin后结果正常,然后直接生成table并进行int8量化,结果也正常。转param和bin然后采用ncnnoptimize优化后,结果也正常,但是用优化后的结果再生成table进行int8量化后结果就乱码了,满屏幕飘框。请问,可能是什么原因?
dwthyt8l1#
我对你这个问题也有点好奇,留个言加入讨论。
我觉得你应该把你的问题描述地更清楚一点,让作者们可以复现或者有报错码可供分析
2exbekwf2#
测试的yolo-fastest的模型,裁剪了部分通道和层,量化过程中没有报错和任何异常出现。不过yolo-fastest原版的模型未进行量化测试。看到ncnnoptimize的过程中合并了卷积层和bn层,所以又尝试了直接将训练的darknet模型先融合了bn层,然后生成param和bin,此时结果仍是对的,再生成table并进行int8量化(不进行ncnnoptimize),结果就不对,测试图片会出现非常非常多的框。
j7dteeu83#
https://zhuanlan.zhihu.com/p/370689914https://github.com/Tencent/ncnn/wiki/quantized-int8-inference20210507版本大幅优化int8推理速度并重写了量化工具,建议更新
1dkrff034#
@nihui 好的,稍后尝试一下,感谢!!!
4条答案
按热度按时间dwthyt8l1#
我对你这个问题也有点好奇,留个言加入讨论。
我觉得你应该把你的问题描述地更清楚一点,让作者们可以复现或者有报错码可供分析
2exbekwf2#
测试的yolo-fastest的模型,裁剪了部分通道和层,量化过程中没有报错和任何异常出现。不过yolo-fastest原版的模型未进行量化测试。
看到ncnnoptimize的过程中合并了卷积层和bn层,所以又尝试了直接将训练的darknet模型先融合了bn层,然后生成param和bin,此时结果仍是对的,再生成table并进行int8量化(不进行ncnnoptimize),结果就不对,测试图片会出现非常非常多的框。
j7dteeu83#
https://zhuanlan.zhihu.com/p/370689914
https://github.com/Tencent/ncnn/wiki/quantized-int8-inference
20210507版本大幅优化int8推理速度并重写了量化工具,建议更新
1dkrff034#
@nihui 好的,稍后尝试一下,感谢!!!