モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
勾配降下法は、丸い損失曲面と引き伸ばされた損失曲面では全く違う振る舞いをする。条件数はその引き伸ばされ具合を測る。条件数が悪いと最適化アルゴリズムはジグザグに動く。ある方向は急で、別の方向は平らになる。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 条件数とジグザグ