モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
損失地形とは、パラメータ空間全体にわたるL(θ)の形のことだ。ニューラルネットワークの場合、それは高次元で非凸だ。広く平らな区域、鋭く曲がった区域、ある方向では上りながら別の方向では下るサドル点、そしてしばしば互いに繋がっていることが分かる、多くの独立した低損失領域を持つ。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 損失地形