模型究竟是如何学习的——从原始梯度下降到Adam
一阶方法使用梯度。二阶方法还会使用曲率,通常是通过 Hessian。曲率告诉优化器,随着参数移动,梯度本身是如何变化的。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.