tensorflow 我的验证损失低于我的训练损失，我应该摆脱正规化吗？

guicsvcw 于 2023-03-13 发布在其他

关注(0)|答案(2)|浏览(105)

我听过很多人谈论一些原因，但他们从来没有真正回答是否应该修复它。我检查了我的数据集是否存在泄漏，并从TFRecords数据集中随机选取了20%作为验证集。我开始怀疑我的模型有太多的正则化层。我是否应该减少正则化以使验证线位于训练线之上？还是这真的很重要

2条答案

验证损失低于训练损失并没有错。它只是取决于验证集的概率分布。如果模型中有很多脱落，则很容易出现这种情况，因为训练损失是在存在脱落的情况下计算的。在计算验证损失时，脱落被禁用。问题是训练精度是否处于可接受的水平。如果不是，则减少模型中的正则化。

以我的经验（fwiw）当验证误差始终低于训练误差时，数据中可能存在偏差，例如，当你训练一个时间序列预测模型时，甚至会出现一丝前瞻性偏差。则事情可能看起来收敛得相当好，但是验证误差通常低于训练误差。验证误差应接近训练误差，通常略高。如果不是，请首先怀疑您的数据（或您如何将该数据呈现给模型）。