看起来最终还是这样了。

我正在尝试在自己的数据集上预训练BERT。尽管代码显示保存和从检查点恢复正在发生，但我的损失值倾向于在大约7左右停滞不前。我完全没有看到收敛。我能做些什么？
你解决了这个问题吗？如果解决了，解决方案是什么？

我遇到了同样的问题。我尝试将我的批处理大小设置为较大的数字，例如64,似乎收敛了。

我也遇到了同样的问题。问题在于，我们的一个训练数据集(抓取)中有数千行重复的行，因此训练卡在了局部最优解(大约8)。在训练之前，请确保检查数据集中的重复项。

我遇到了同样的问题。问题是，我们的一个训练数据集(抓取)中有数千行重复的行，因此训练卡在了局部最优解(大约8)。在训练之前，请确保检查数据集中是否有重复的行。
我遇到了同样的问题，请问哪一个文件有重复的行？

这是您的自定义数据集，您在其中需要查找重复的行！