モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
バッチサイズ、Bと書く、は勾配推定のノイズを変える。小さなバッチはノイズが多いが安上がりな推定を与える。大きなバッチはより安定した推定を与えるが、各更新にかかるコストは大きくなる。
バッチサイズが変わると、最適な学習率もしばしば変わる。大きなバッチでは、より大きな学習率を使えることもあるが、たいていウォームアップと注意深い検証が必要になる。
出口調査も同じように働く。5人の有権者に聞けば、ノイズの多い推測になる。5000人に聞けば、より安定した推定になるが、その分手間もかかる。バッチサイズは、勾配にとっての調査対象の人数だ。その安定化の効果こそ、下の図がまさに示していることだ。実行を押して、nが増えるにつれてコイン投げの移動平均が落ち着いていく様子を見てほしい。コインを例ごとの勾配に、nをBに置き換えれば、それがバッチサイズの話のすべてだ。