Paddle 压缩后输出模型

xvw2m8pv  于 2021-12-07  发布在  Java
关注(0)|答案(5)|浏览(256)

使用Compressor对模型进行量化后输出结果有float、int8、mobile三种,包括model、weights两个文件,这两个文件如何加载使用,与paddle提到的几种,save_vars、save_params、save_persistables 和 save_inference_model的输出结果都不一样。

af7jpaap

af7jpaap1#

model和weights可以使用load_inference_model加载使用

deikduxw

deikduxw2#

提示错误,IOError: [Errno 2] No such file or directory: 'etc/output/int8/model'
我试过其他几个,也都不能成功加载。

7ivaypg9

7ivaypg93#

提示错误,IOError: [Errno 2] No such file or directory: 'etc/output/int8/model'
最后的那个文件是__model__,没注意,markdown变成加粗了

g9icjywg

g9icjywg4#

找到了compressor保存模型的代码,知道原因了

ctzwtxfj

ctzwtxfj5#

有个问题,模型卷积参数压缩为int8后,输入的数据仍然为float类型的,在paddle中不同类型的数据不允许直接相乘,会报如下的错误,那压缩后的模型如何使用?

我查过源码,5代表的是FP32,21代表的是INT8

相关问题