モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
初期のスケールが間違っていると、最適化は始まる前に失敗し得る。重みが小さすぎると、信号や勾配が消えてしまうことがある。重みが大きすぎると、活性化や勾配が爆発したり飽和したりすることがある。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.