Линейна апроксимация

Многопроменливо смятане от първи принципи

Отблизо всяка гладка повърхност изглежда плоска, както Земята ви се струва плоска под краката ви. Линейното приближение замества кривата функция близо до дадена точка с плоската допирателна равнина, която просто я докосва там. Градиентът определя наклона на тази равнина.

Прочетете го с думи: новата стойност ≈ старата стойност, плюс градиента, скаларно умножен по стъпката, която сте предприели. Това скаларно произведение е производната по посока, умножена по дължината на стъпката – най-доброто линейно предположение за това с колко се е променила f.

Натиснете малък плосък стикер върху плажна топка и точно там, където стои, извитата топка изглежда перфектно плоска. Линейната апроксимация е този стикер: плоска допирателна равнина, която целува повърхността в една точка и замества кривата наблизо. Отдалечете се твърде много по топката и стикерът се отлепва от повърхността — предвиждането се отклонява.

Къде се използва това в MLЕдна стъпка на градиентно спускане е линейно приближение в действие. Актуализацията на w ← w − η∇L предполага, че промяната на загубата е добре прогнозирана от линейния член ∇L·δ. Когато стъпката е твърде голяма, пренебрегнатата кривина (членът ‖δ‖²) надделява и загубата може да прескочи целта (overshoot) или да се разходи (diverge). Скоростта на обучение η ви държи в региона, където третирането…
▶ Линейна апроксимация
← Производна по посокаЯкобианът →