モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
フルバッチ勾配降下法は各更新の計算にすべての訓練例を使う。確率的勾配降下法は正反対の極端で、たった1つだけを使う。ミニバッチ勾配降下法は小さなバッチでその中間に位置し、実は深層学習が実際に動いているのはこの妥協案の上だ。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 確率的勾配降下法とミニバッチ