Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Ландшафтът на загубата е формата на L(θ) в пространството на параметрите. За невронните мрежи той е високоразмерен и неизпъкнал: има широки плоски участъци, рязко извити участъци, седлови точки, които се издигат в едни посоки, докато падат в други, и много отделни региони с ниска загуба, които често се оказват свързани.
Не можете да визуализирате реалния ландшафт директно, но можете да разсъждавате за локалната геометрия: градиент, кривина, шум и как различните оптимизатори се движат през тях.
Дюнно поле след силен вятър има широки плоски участъци, остри хребети и пътеки, които изглеждат равни от една посока, но наклонени от друга. Ландшафтът на загубата има същия проблем: локалната форма зависи от посоката. Можете да изградите най-важната такава форма във фигурата по-долу: плъзнете двете кривини, докато едната стане положителна, а другата отрицателна. Това е седло — равно по една линия и наклонено по друга — и е видът стационарна точка, който доминира във високоразмерните ландшафти.