损失地形

模型究竟是如何学习的——从原始梯度下降到Adam

损失地形指的是 L(θ) 在参数空间上的形状。对神经网络来说,这个形状是高维且非凸的:它有大片平坦的区域,也有陡峭弯曲的区域;有一些鞍点,在某些方向上升,在另一些方向下降;还有许多彼此分离、但常常又相互连通的低损失区域。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 损失地形
← 二阶方法优化器诊断 →