模型究竟是如何学习的——从原始梯度下降到Adam
批量大小，记作 B，会改变梯度估计中的噪声。小批量给出的估计带噪声但代价低；大批量给出的估计更稳定，但每次更新的代价也更高。
批量大小改变时，最佳学习率往往也会跟着改变。较大的批量有时可以配合更大的学习率使用，但通常还需要预热，以及仔细的验证。
出口民调用的是同一个道理。只问五个选民，猜测会带噪声；问五千个选民，估计会更稳定，但要花更多功夫。批量大小就是梯度的“民调样本量”。下面的图演示的正是这种趋稳的效果：点击运行，观察抛硬币的滚动平均值随着 n 增大而逐渐稳定下来。把硬币换成逐个样本的梯度，把 n 换成 B，批量大小这整套故事就讲完了。