Paddle 昇腾atlas 310P3推理卡适配

j13ufse2 于 5个月前发布在其他

关注(0)|答案(4)|浏览(61)

请提出你的问题 Please ask your question

我使用飞桨算法，微调了NLP,CV相关的模型，然后通过FastDeploy完成了在NVIDIA-GPU.T4和P4的部署。
为了适配昇腾atlas 310P3硬件，我参考FastDeploy相关文档编译昇腾环境的代码，但是遇到了问题，没有成功。
失败原因如下：昇腾atlas 310P3硬件的软件驱动版本不在支持华为CANN<6.0，而是支持CANN>6以上版本。但是FastDeploy基于的PaddleLite还是较早适配了CANN=5.1，经推测后续应该没有对新版本的CANN再做适配。
基于上述的问题：我微调的NLP,CV相关的模型如何才能在atlas 310P3硬件完成推理适配呢，请飞浆老师帮我指导一下，给个方案。谢谢。

补充一点，我看python -m pip install --pre paddle-custom-npu -i https://www.paddlepaddle.org.cn/packages/nightly/npu/这个也是针对昇腾910B做的适配，那么在atlas 310P3推理卡上面的适配，后续有没有什么计划或安排呢？

Paddle

来源：https://github.com/PaddlePaddle/Paddle/issues/64956

4条答案

按热度按时间

xggvc2p61#

python -m pip install --pre paddle-custom-npu -i https://www.paddlepaddle.org.cn/packages/nightly/npu/
这个确实是针对910B芯片的
Lite对310的支持CANN版本停留在5.x，目前还没有升级的计划。
310P3上的推理方案建议，能否用paddle inference，还是推荐onnx方案呢？请 @qili93 & @hong19860320 看一下

赞(0）回复(0）举报 5个月前

yx2lnoni2#

目前Paddle Inference暂不支持910B以外的芯片，建议使用 ONNX 方案尝试一下。

赞(0）回复(0）举报 5个月前

jslywgbw3#

目前Paddle Inference暂不支持910B以外的芯片，建议使用 ONNX 方案尝试一下。

您说的ONNX 方案是指：把飞桨模型转成ONNX，再从ONNX转成昇腾的 OM或其它格式，然后利用昇腾的推理方法实现吗？

赞(0）回复(0）举报 5个月前

eyh26e7m4#

目前Paddle Inference暂不支持910B以外的芯片，建议使用 ONNX 方案尝试一下。

您说的ONNX 方案是指：把飞桨模型转成ONNX，再从ONNX转成昇腾的 OM或其它格式，然后利用昇腾的推理方法实现吗？

是的，通过 Paddle2ONNX 工具进行转化。