Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Ландшафтът на загубата е формата на L(θ) в пространството на параметрите. За невронните мрежи той е високоразмерен и неизпъкнал: има широки плоски участъци, рязко извити участъци, седлови точки, които се издигат в едни посоки, докато падат в други, и много отделни региони с ниска загуба, които често се оказват свързани.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Ландшафтът на загубата