我正在尝试在自己的数据集上预训练BERT。尽管代码显示保存和恢复检查点正在发生，但我的损失值倾向于稳定在大约7附近。我完全没有看到收敛。我能做些什么？
0ve6wy6x1#
看起来最终还是这样了。
fruv7luv2#
我正在尝试在自己的数据集上预训练BERT。尽管代码显示保存和从检查点恢复正在发生，但我的损失值倾向于在大约7左右停滞不前。我完全没有看到收敛。我能做些什么？你解决了这个问题吗？如果解决了，解决方案是什么？
anauzrmj3#
我遇到了同样的问题。我尝试将我的批处理大小设置为较大的数字，例如64,似乎收敛了。
icnyk63a4#
我也遇到了同样的问题。问题在于，我们的一个训练数据集(抓取)中有数千行重复的行，因此训练卡在了局部最优解(大约8)。在训练之前，请确保检查数据集中的重复项。
mzillmmw5#
我遇到了同样的问题。问题是，我们的一个训练数据集(抓取)中有数千行重复的行，因此训练卡在了局部最优解(大约8)。在训练之前，请确保检查数据集中是否有重复的行。我遇到了同样的问题，请问哪一个文件有重复的行？
u4dcyp6a6#
这是您的自定义数据集，您在其中需要查找重复的行！
6条答案
按热度按时间0ve6wy6x1#
看起来最终还是这样了。
fruv7luv2#
我正在尝试在自己的数据集上预训练BERT。尽管代码显示保存和从检查点恢复正在发生，但我的损失值倾向于在大约7左右停滞不前。我完全没有看到收敛。我能做些什么？
你解决了这个问题吗？如果解决了，解决方案是什么？
anauzrmj3#
我遇到了同样的问题。我尝试将我的批处理大小设置为较大的数字，例如64,似乎收敛了。
icnyk63a4#
我也遇到了同样的问题。问题在于，我们的一个训练数据集(抓取)中有数千行重复的行，因此训练卡在了局部最优解(大约8)。在训练之前，请确保检查数据集中的重复项。
mzillmmw5#
我遇到了同样的问题。问题是，我们的一个训练数据集(抓取)中有数千行重复的行，因此训练卡在了局部最优解(大约8)。在训练之前，请确保检查数据集中是否有重复的行。
我遇到了同样的问题，请问哪一个文件有重复的行？
u4dcyp6a6#
这是您的自定义数据集，您在其中需要查找重复的行！