Paddle paddle2.0 基于ernie训练模型时 loss和测试集准确率都变化明显 但模型参数一直不变

iyr7buue  于 2021-11-30  发布在  Java
关注(0)|答案(4)|浏览(661)
  • 版本、环境信息:

   1)PaddlePaddle版本:paddle2.0
   2)CPU:
   3)GPU:
   4)系统环境:

  • 模型信息

   1) ernie

  • 复现信息:如为报错,请给出复现环境、复现步骤
  • 问题描述:

在使用paddle2.0训练模型时,loss下降明显,测试集准确率明显提高,但模型参数一直没有变化,save的ckpt也一直不变 请问这个是什么原因导致的呢

vlju58qv

vlju58qv1#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看官网API文档常见问题历史IssueAI社区来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

a0zr77ik

a0zr77ik2#

参数是会随着训练变化的,请问是如何确认参数和save checkpoint不变的呢?是否可以提供一下复现的代码呢?

ljsrvy3e

ljsrvy3e3#

感觉我也是遇到了同样的问题,使用ernie实体识别,微调过程中准确率已经很高了,而且打印结果也是没问题的,但是把参数保存后,再使用load加载做预测,结果就面目全非了。我怀疑训练后的参数没保存上,请技术人员尽快解决。

paddlehub 2.0.4
paddlenlp 2.0.1
paddlepaddle 2.1.0

ernie调用的是paddlenlp中的包

hs1rzwqc

hs1rzwqc4#

模型保存:
paddle.save(model.state_dict(), path))
模型加载:
model_state_dict = paddle.load(path)
model.set_dict(model_state_dict)

相关问题