Geometria hesjanu

Analiza wielowymiarowa od pierwszych zasad

Wartości własne hesjanu przekształcają niejasne pytanie „jakiego rodzaju jest to punkt krytyczny?” w prostą listę kontrolną. Tam, gdzie gradient wynosi zero, znaki wartości własnych hesjanu podpowiadają, czy znajdujesz się wewnątrz misy, na szczycie kopuły czy może w siodle.

To jest wielowymiarowa druga pochodna, będąca bezpośrednim uogólnieniem tej jednowymiarowej: na prostej f″ > 0 oznaczało minimum, a f″ maksimum. Wartości własne hesjanu są wielokierunkową wersją tej pojedynczej liczby.

Wyobraź sobie trzy przekąski. Miska zupy zakrzywia się w górę bez względu na to, w którą stronę ją przechylisz, kopuła z lodów zakrzywia się w dół z każdej strony, a chips Pringles wygina się w górę wzdłuż swojej długości, ale w dół wzdłuż swojej szerokości. Wartości własne hesjanu to po prostu krzywizny w tych szczególnych kierunkach: taki sam znak oznacza miskę lub kopułę, przeciwne znaki (jak 2 i −2) oznaczają chips, czyli siodło.

Gdzie to występuje w MLW wysokich wymiarach punkty siodłowe dominują nad minimami lokalnymi. Przypadkowy punkt krytyczny w n wymiarach stałby się faktycznym minimum lub maksimum tylko wtedy, gdyby wszystkie n wartości własnych posiadało ten sam znak, a prawdopodobieństwo takiej sytuacji maleje wykładniczo. Właśnie z tego powodu problem z trenowaniem głębokich sieci polega dziś w głównej mierze na unikaniu siodeł…
▶ Geometria hesjanu
← HesjanReguła łańcuchowa: Skalarna kompozycja →