How models actually learn, from vanilla gradient descent to Adam
Ландшафт втрат — це форма L(θ) над простором параметрів. Для нейронних мереж він високовимірний і невипуклий: має широкі плоскі ділянки, різко вигнуті, сідлові точки, які піднімаються в одних напрямках і спускаються в інших, і багато окремих областей низької втрати, які часто виявляються з’єднаними.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Ландшафт втрат