Adam

模型究竟是如何學習的,從原始梯度下降法到Adam

Adam 結合了兩個思路:用於平均梯度的動量,以及 RMSProp 那種用於平均梯度平方的縮放。然後它還會校正早期的偏差,因為這些移動平均都是從零開始的。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Adam
← RMSProp隨機梯度下降法與小批量梯度下降法 →