模型究竟是如何学习的——从原始梯度下降到Adam
梯度下降在一个圆形的损失曲面和一个被拉长的损失曲面上,表现会截然不同。条件数衡量的就是这种拉伸程度。条件数差会让优化器走出之字形:一个方向很陡,另一个方向很平。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.