模型究竟是如何學習的,從原始梯度下降法到Adam
損失地形指的是 L(θ) 在參數空間上的形狀。對神經網路來說,這個形狀是高維且非凸的:它有大片平坦的區域,也有陡峭彎曲的區域;有一些鞍點,在某些方向上升,在另一些方向下降;還有許多彼此分離、但常常又相互連通的低損失區域。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.