Многомерен ред на Тейлър — Смятане II

Линейното приближение (Урок 9) използва само градиента и дава плоска допирателна равнина. Добавите ли следващия член, изграден от Хесиана, получавате квадратично приближение: параболоид, който прилепва към повърхността и улавя не само наклона ѝ, но и кривината.

Прочетете трите части: f(x) е височината, ∇fᵀδ е линейната корекция (наклонът), а ½δᵀHδ е квадратичната корекция (кривината). Този последен член е квадратична форма по стъпката – точно обектът, чийто знак определят собствените стойности на Хесиана.

Плоска допирателна равнина, почиваща върху извита повърхност, е като поставянето на твърдо стъклено предметно стъкло върху окото ви: то се допира в едно място, но има пролуки навсякъде другаде. Контактната леща се справя по-добре, защото е извита, за да съответства на повърхността на окото, съответствайки не само къде е окото, но и как се извива. Хесиановият член ½δᵀHδ е тази вградена кривина: той позволява на апроксимацията да прегърне повърхността, вместо просто да почива върху нея.

Къде се използва това в MLВместо да слизате с по една малка стъпка надолу по наклона, можете да напаснете параболоид към загубата и да скочите право в дъното му. Това е методът на Нютон: той минимизира точно локалното квадратично приближение със стъпка δ = −H⁻¹∇f и сходи много по-бързо от обикновеното градиентно спускане, когато кривината се мени силно. Adam и сродните му оптимизатори гонят същата корекция на кривината…