モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
フルバッチ勾配降下法は各更新の計算にすべての訓練例を使う。確率的勾配降下法は正反対の極端で、たった1つだけを使う。ミニバッチ勾配降下法は小さなバッチでその中間に位置し、実は深層学習が実際に動いているのはこの妥協案の上だ。
ミニバッチの勾配は完全な勾配のノイズの多い推定値だ。計算が安く、しばしば厳密な完全勾配よりも有用ですらある。多くの素早い更新を与え、そのノイズが探索を助けることがあるからだ。
シリアルの品質検査も同じ妥協を使う。すべての箱を開けるのは正確だが遅い。1箱だけ調べるのはノイズが多い。1トレー分の箱を調べれば、素早く有用な推定値が得られる。ミニバッチはそのトレーだ。下の図はその統計を目に見える形にする。実行を押すと、標本が増えるにつれて実行平均が落ち着いていく様子が分かる。ミニバッチの勾配も同じ種類のもので、バッチが大きくなるにつれて安定していく平均だ。