我正在使用SIMPLEX的pytorch实现，在我自己的数据集上训练它。问题是，经过100个epoch后，损失从5.6下降到5.0，并且不再下降。我想知道这可能是什么问题，或者这是一个正常的情况？学习率i设置为0.2，我用LARS Package 优化器，eeta=0.001，批量大小为512。（约200000小图片与resnet18）正如你所看到的，学习率是相当适中的，对吧（不是不适当的大）？你觉得可能是什么问题？
vpfxa7rd1#
这里有一个很好的方法来调整学习率（最终你可以更直观地做到这一点）：link我在这里总结了以编程方式调整学习率的关键步骤：
np.logspace(-9, -1, 21)
jgovgodb2#
我认为learning_rate太高了，检查损失函数和代码。
2条答案
按热度按时间vpfxa7rd1#
这里有一个很好的方法来调整学习率（最终你可以更直观地做到这一点）：link
我在这里总结了以编程方式调整学习率的关键步骤：
np.logspace(-9, -1, 21)jgovgodb2#
我认为learning_rate太高了，检查损失函数和代码。