模型究竟是如何学习的——从原始梯度下降到Adam
早停利用验证表现来决定何时停止训练。如果验证损失在足够长的时间内都没有改善，你就保留最好的那个检查点并停止训练。这里的进度以 epoch 计数：一个 epoch 就是完整遍历一次训练数据，验证通常在每个 epoch 之后进行检查。
这既能节省算力，本身也是一种正则化手段。它能防止模型在验证表现已经开始变差之后，还继续去拟合训练集。
烤面包机给出的是正确的直觉。太早把面包拿出来，颜色还是苍白的；等得太久，又会烤焦。你要盯着面包，在它达到最佳颜色时停下来，而不是让加热元件尽可能久地运转。下面的图展示了这份“盯着看”的数据从哪里来：留出一部分训练数据，或者像图中那样轮换折数，这样模型就是在它从未拟合过的样本上被评判的。早停正是从那部分留出的数据里读取信号的。