请提出你的问题 Please ask your question
你好：
目前已经使用 paddleslim 对训练好的模型进行 post quantize 并得到量化模型，现在需要移除 fake_quantize/fake_dequantize op 并转化出 int8 模型。参考官方例子，需要使用到 save_quant_model.py 。但运行的时候出现 No module named 'paddle.static.quantization' 的错误。排查后发现 save_quant_model.py 在 develop 版本中才有，发布的 paddle-2.4.1 版本中没有。
请问现在使用的是发布的 paddle-2.4.1 版本，那使用什么函数来实现上诉的功能呢？
谢谢！
3条答案
按热度按时间rks48beu1#
您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看 官网API文档 、 常见问题 、 历史Issue 、 AI社区 来寻求解答。祝您生活愉快～
Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API ， FAQ ， Github Issue and AI community to get the answer.Have a nice day!
t0ybt7op2#
@Huangdebo 你在离线量化ptq的时候将onnx_format设为True，会生成量化新格式模型，就可以不使用 save_quant_model.py 进行二次转换了，可以使用paddle Inference 开启mkldnn直接部署。
6kkfgxo03#
感谢你的回答，onnx_format设为True 后是可以生成量化的模型了，也能转化成 onnx；但如果使用 slim.quant.quant_post_static 量化的时候，设置 activation_bits=16，虽然也可以得到量化模型，但用 paddle2onnx 转化成 onnx 的时候出错了：
请问是什么回事呢？