模型究竟是如何学习的——从原始梯度下降到Adam
全批量梯度下降在每次更新时用到全部训练样本；随机梯度下降走向另一个极端，每次只用一个样本。小批量梯度下降介于两者之间，用一小批样本，而这种折衷正是深度学习实际运行的方式。
小批量梯度是对完整梯度的一个带噪声的估计。它比精确的完整梯度更便宜，往往也更有用，因为它能带来更多次快速更新，而它带来的噪声也可能有助于探索。
麦片的质量检查用的是同样的折衷方案。打开每一盒检查最准确，但太慢。只查一盒又太嘈杂。查一整托盘就能又快又有用地给出一个估计。小批量就是那些托盘。下面的图让统计规律变得可见：点击运行，看着一个滚动平均值随着样本增多而逐渐稳定下来。小批量梯度正是同一类对象——一个随着批量增大而趋于稳定的平均值。