Paddle 训练误差降低,测试误差升高

eeq64g8w  于 2021-11-30  发布在  Java
关注(0)|答案(6)|浏览(321)

模型在训练时loss降低,但是在model.eval()后测试,loss反而升高。
应该不是过拟合,因为测试的时候也使用的是训练时的数据集。

q3aa0525

q3aa05251#

这是在动态图里出现的问题。

368yc8dk

368yc8dk2#

loss差别多大呢?如果差别不是很大的话,会不会是dropout、batch_norm这些因素的影响呢?
方便提供下复现程序么?

nkcskrwz

nkcskrwz3#

差别巨大,我可以把代码直接发到你邮箱吗

fhity93d

fhity93d4#

刚刚测试的结果是在如果去掉model.eval的话,结果就正常了

yizd12fk

yizd12fk5#

------------------ 原始邮件 ------------------ 发件人: "zhongpu"<notifications@github.com>; 发送时间: 2020年5月6日(星期三) 下午4:52 收件人: "PaddlePaddle/Paddle"<Paddle@noreply.github.com>; 抄送: "542232570"<542232570@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [PaddlePaddle/Paddle] 训练误差降低,测试误差升高 (#24315) loss差别多大呢?如果差别不是很大的话,会不会是dropout、batch_norm这些因素的影响呢? 方便提供下复现程序么? — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

lnvxswe2

lnvxswe26#

我发现问题出现在模型中,其中有一段程序是knn和获取动态图特征get_graph_feature,这两段代码加上之后就会出现这种现象。动态图的代码里用到了索引操作,可能在动态图里这种索引操作有问题。

相关问题