條件數與之字形震蕩

模型究竟是如何學習的,從原始梯度下降法到Adam

梯度下降法在一個圓形的損失曲面和一個被拉長的損失曲面上,表現會截然不同。條件數衡量的就是這種拉伸程度。條件數差會讓最佳化器走出之字形:一個方向很陡,另一個方向很平。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 條件數與之字形震蕩
← 調度與預熱動量 →