Paddle int8 oneDNN ops coverage and generalization

x759pob2  于 2021-11-30  发布在  Java
关注(0)|答案(2)|浏览(295)

Add following ops and models ops int8 oneDNN support

PaddleDetectionrepo models are sorted by priority from high to lowas follows:

ppyolov2_r50vd_dcn_365e_coco,
yolov3_darknet,
faster_rcnn_r50_fpn_1x_coco,
mask_rcnn_r50_fpn_1x_coco,
ssd_mobilenet_v1_300_120e_voc,
solov2_r50_fpn_1x_coco,

OCR 模型中MKLDNN不支持的op

  • elementwise_add 【65】
  • nearest_interp_v2 【6】
  • elementwise_mul 【9】
  • squeeze2 【2】
  • rnn 【2】

Clas 模型中MKLDNN不支持的op

  • elementwise_add【463】
  • split【90】
  • elementwise_mul【45】
  • reshape2【28】
  • squeeze2【11】
  • flatten_contiguous_range【6】
  • slice【5】

Det(只测试了Yolo) 模型中MKLDNN不支持的op

  • elementwise_add 【38】
  • expand_v2 【32】
  • elementwise_mul 【8】
  • nearest_interp_v2 【10】
  • yolo_box 【10】
  • split 【3】
  • reshape2 【3】
  • slice 【9】
  • scale 【3】

汇总MKLDNN不支持的op

  • elementwise_add 【65】+ elementwise_add【463】+ elementwise_add 【38】
  • nearest_interp_v2 【6】+ nearest_interp_v2 【10】doable
  • elementwise_mul 【9】+ elementwise_mul【45】+ elementwise_mul 【8】
  • squeeze2 【2】+ squeeze2【11】 doable
  • rnn 【2】Need to look into doc
  • split【90】+ split 【3】Need investigation.
  • reshape2【28】+ reshape2 【3】It does not make sense to make for oneDNN. it does not work with block format. It only make sense to make oneDNN support when block format is supported
  • flatten_contiguous_range【6】
  • slice【5】+ slice 【9】
  • expand_v2 【32】
  • yolo_box 【10】
  • scale 【3】Need investigation.
vaj7vani

vaj7vani1#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看官网API文档常见问题历史IssueAI社区来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

相关问题