勾配降下法プレビュー — 微分積分学 I · Mathematics for Machine Learning

曲線の最低点が欲しいが、足元の地面しか見えないとします — 傾きを感じられるだけ。どうする？簡単：下り坂の方向にステップし、また感じ、またステップする。繰り返す。それが勾配降下法で、ほぼすべての現代AIモデルを訓練するアルゴリズムです。

一歩先も見えないほど深い霧の中で下り坂を歩いていると想像してください。谷底を見つけることはできませんが、足で地面がどちらに下っているかを感じ取り、そちらの方向に一歩踏み出すことはできます。感じて、踏み出し、感じて、踏み出す。勾配降下法はまさに、最も低い地面に向かって行う、この盲目的で忍耐強いすり足です。

機械学習における位置づけこの1行が深層学習のすべての最適化器の心臓です。重みの更新は精神において同じ：w ← w − η∇L、∇Lは次のコースの多次元微分（勾配）です。SGD、Adam、RMSPropなどはすべてこの骨格の洗練 — より賢いステップサイズ、モメンタム、パラメータごとの率 — しかし骨はまさに上のルール。非凸性は深層ネットに単一の「その」最小値がない理由、異なるランダム初期化からの2回の訓練が異なる場所に着地する理由、学習率が最も重要な調整ノブである理由です。