Геометрия гессиана — Математический анализ II

Собственные значения гессиана превращают мутный вопрос «какого типа эта критическая точка?» в чистый чек-лист. В точке, где градиент ноль, знаки собственных значений гессиана говорят, сидите ли вы в чаше, на куполе или на седле.

Это многомерный тест второй производной, прямое обобщение 1D: там f″ > 0 означало минимум, f″ — максимум. Собственные значения гессиана — версии того числа для многих направлений.

Представьте себе три закуски. Миска супа изгибается вверх, в какую бы сторону вы её ни наклонили, купол мороженого везде изгибается вниз, а чипс Pringles изгибается вверх вдоль своей длины, но вниз поперек своей ширины. Собственные значения гессиана — это просто кривизны вдоль этих особых направлений: одинаковые знаки означают миску или купол, противоположные знаки (такие как 2 и −2) означают чипс, седло.

Где это встречается в MLВ высоких размерностях седловые точки vastly превосходят локальные минимумы числом. Для случайной критической точки в n измерениях все n собственных значений должны иметь один знак, чтобы она была истинным минимумом или максимумом, что экспоненциально маловероятно. Так что обучение глубокой сети — по большей части побег от седел, мест, где градиент мал, но вы далеко не на дне, а не попадание в…