使用Compressor对模型进行量化后输出结果有float、int8、mobile三种,包括model、weights两个文件,这两个文件如何加载使用,与paddle提到的几种,save_vars、save_params、save_persistables 和 save_inference_model的输出结果都不一样。
af7jpaap1#
model和weights可以使用load_inference_model加载使用
deikduxw2#
提示错误,IOError: [Errno 2] No such file or directory: 'etc/output/int8/model'我试过其他几个,也都不能成功加载。
7ivaypg93#
提示错误,IOError: [Errno 2] No such file or directory: 'etc/output/int8/model'最后的那个文件是__model__,没注意,markdown变成加粗了
g9icjywg4#
找到了compressor保存模型的代码,知道原因了
ctzwtxfj5#
有个问题,模型卷积参数压缩为int8后,输入的数据仍然为float类型的,在paddle中不同类型的数据不允许直接相乘,会报如下的错误,那压缩后的模型如何使用?
我查过源码,5代表的是FP32,21代表的是INT8
5条答案
按热度按时间af7jpaap1#
model和weights可以使用load_inference_model加载使用
deikduxw2#
提示错误,IOError: [Errno 2] No such file or directory: 'etc/output/int8/model'
我试过其他几个,也都不能成功加载。
7ivaypg93#
提示错误,IOError: [Errno 2] No such file or directory: 'etc/output/int8/model'
最后的那个文件是__model__,没注意,markdown变成加粗了
g9icjywg4#
找到了compressor保存模型的代码,知道原因了
ctzwtxfj5#
有个问题,模型卷积参数压缩为int8后,输入的数据仍然为float类型的,在paddle中不同类型的数据不允许直接相乘,会报如下的错误,那压缩后的模型如何使用?
我查过源码,5代表的是FP32,21代表的是INT8