模型究竟是如何學習的,從原始梯度下降法到Adam
一階方法使用梯度。二階方法還會使用曲率,通常是通過 Hessian。曲率告訴最佳化器,隨著參數移動,梯度本身是如何變化的。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.