Ograniczenia i ciągłość w Rⁿ

Analiza wielowymiarowa od pierwszych zasad

Na prostej mogłeś zbliżać się do punktu tylko z dwóch stron, lewej i prawej. Na płaszczyźnie i w wyższych wymiarach możesz zbliżać się do punktu z nieskończenie wielu kierunków, wzdłuż dowolnej trajektorii. Ta dodatkowa swoboda sprawia, że granice w przestrzeni Rⁿ są znacznie trudniejszym pojęciem, a ta lekcja ma raczej charakter ostrzeżenia niż gotowego przepisu.

Funkcja f ma granicę L w punkcie p tylko wtedy, gdy dąży do tej samej wartości L bez względu na wybraną ścieżkę. Jeśli przybliżanie się wzdłuż dwóch różnych ścieżek daje dwie różne wartości, to granica w tym punkcie nie istnieje.

Zgadzasz się spotkać z przyjacielem przy fontannie pośrodku placu. Możesz iść do niej od wejścia z północy, wschodniej uliczki lub dowolną krętą przekątną przez plac, ale musisz trafić do tej samej fontanny. Granica w Rⁿ wymaga dokładnie tego: funkcja musi zmierzać do jednej wartości bez względu na to, jaką ścieżkę obierzesz. Jeśli dwa podejścia różnią się miejscem dotarcia, nie ma punktu spotkania i granica nie istnieje.

Gdzie to występuje w MLOptymalizacja oparta na gradientach działa, ponieważ niemal każda funkcja w uczeniu głębokim jest ciągła: małe przesunięcie wag powoduje niewielkie zmiany straty, co nadaje gradientowi sens. Znanym wyjątkiem jest funkcja ReLU, max(0, x), która wprawdzie jest ciągła wszędzie, ale w punkcie 0 posiada załamanie, gdzie pochodna skokowo się zmienia. Gładki krajobraz funkcji to właściwość, na której…
▶ Ograniczenia i ciągłość w Rⁿ
← Funkcje f: Rⁿ → RᵐPochodne cząstkowe →