PaddleNLP [问题]:

whhtz7ly  于 4个月前  发布在  其他
关注(0)|答案(2)|浏览(50)

请提出你的问题:paddlenlp的gpt模型使用的loss算子是CrossEntropyLoss算子,请问等价换成logsoftmax与NLL_Loss算子的组合,可以吗?

1zmg4dgp

1zmg4dgp1#

更换损失函数应该没有问题,检查点也应该能加载,但结果可能会出现偏差。

fdbelqdn

fdbelqdn2#

好的,谯瀚...

------------------ 原始邮件 ------------------
发件人: ***@***.***>; 发送时间: 2023年8月17日(星期四) 晚上8:06
收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [PaddlePaddle/PaddleNLP] [Question]: (Issue #6736) 更换loss function应该没问题,checkpoint应该也能load,可能结果会出现偏差 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

相关问题