Hesjan

Analiza wielowymiarowa od pierwszych zasad

Gradient zawiera wszystkie pierwsze pochodne. Hesjan pakuje wszystkie drugie pochodne funkcji skalarnej f: Rⁿ → R do macierzy. Gdzie gradient daje nachylenie, hesjan daje krzywiznę: jak samo nachylenie się zmienia, gdy poruszamy się wokół.

Zgodnie z twierdzeniem Clairauta (Lekcja 6), Hᵢⱼ = Hⱼᵢ, więc hesjan jest zawsze symetryczny dla gładkich funkcji, o których mówimy. To jest dar: macierze symetryczne mają rzeczywiste wartości własne i ortogonalne wektory własne, a te wartości własne oznaczają dokładnie krzywiznę w kierunkach głównych.

Jeśli gradient jest prędkościomierzem powierzchni, hesjan jest tablicą przyrządów jej krzywizny: informuje, jak samo nachylenie wygina się we wszystkich kierunkach naraz. Powierzchnia zakrzywiająca się dookoła ciebie w górę odczytuje się jak dno doliny; zakrzywiająca się dookoła ciebie w dół odczytuje się jak szczyt kopuły; w jedną stronę w górę, a w drugą w dół to siodło. Hesjan pakuje to wszystko w jedną symetryczną siatkę drugich pochodnych.

Gdzie to występuje w MLGdy spadek gradientu utyka w długiej, wąskiej dolinie, powoli odbijając się od stromych zboczy, hesjan wyjaśnia dlaczego. Jego wartości własne to krzywizny we wszystkich kierunkach, a duża dysproporcja między nimi (wysoka liczba uwarunkowania) to właśnie owa dolina: stroma w jednym kierunku, prawie płaska w drugim. Metody drugiego rzędu, takie jak metoda Newtona czy Adam, opierają się na analizie…
▶ Hesjan
← Geometria JacobianowaGeometria hesjanu →