Геометрия на Хесиана — Смятане II

Собствените стойности на Хесиана превръщат заплетения въпрос „какъв вид критична точка е това?“ в кратък списък за проверка. В точка, където градиентът е нула, знаците на собствените стойности на Хесиана ви казват дали се намирате в купа, под купол или върху седло.

Това е тестът с втората производна за функции на много променливи и е пряко обобщение на едномерния случай: там f″ > 0 означава минимум, а f″ – максимум. Собствените стойности на Хесиана са многомерният аналог на това едно-единствено число.

Представете си три закуски. Купа със супа се извива нагоре, без значение накъде я накланяте, купол от сладолед се извива надолу навсякъде, а чипс Pringle се огъва нагоре по дължината си, но надолу по ширината си. Собствените стойности на Хесиана са просто кривините по тези специални посоки: еднакъв знак означава купа или купол, противоположни знаци (като 2 и −2) означава чипса, седло.

Къде се използва това в MLВ пространства с голям брой измерения седловите точки далеч превъзхождат по брой локалните минимуми. За да бъде дадена критична точка в n измерения истински минимум или максимум, всичките n собствени стойности трябва да са с еднакъв знак, което е експоненциално малко вероятно. Затова обучението на дълбоки невронни мрежи се състои най-вече в избягване на седлови точки – места, където градиентът е…