Różniczkowalność

Analiza jednowymiarowa od pierwszych zasad

Funkcja jest różniczkowalna w danym punkcie, jeśli wyznacza w nim jedno, bardzo konkretne nachylenie: ma jedną styczną, bez krztyny niepewności. Zdecydowana większość gładkich krzywych jest wszędzie różniczkowalna. Istnieją jednak funkcje, które — mimo absolutnej ciągłości — posiadają miejsca wymykające się określeniu poprawnego nachylenia. Zrozumienie, w których punktach pochodne w ogóle nie istnieją, jest równie ważne co umiejętność ich obliczania.

Jeżeli funkcja posiada w danym punkcie pochodną, to nie może w tym samym miejscu nagle znikąd skakać — stąd powszechna zasada różniczkowalna ⇒ ciągła. Reguła odwrotna nie jest już jednak prawdziwa: funkcja może w pełni zachowywać ciągłość (narysujesz ją bez odrywania rąk od papieru), a mimo to w niektórych miejscach pozostawać nieróżniczkowalną. Różnica między tymi pojęciami to najbardziej fascynująca część analizy.

Sztandarowym przykładem jest tutaj wartość bezwzględna |x|. Jej wykres jest wszędzie ciągły, nie ma w nim dziury ani zerwania w 0. Jednakże w jej „ostrym rogu” nachylenie od lewej strony to równe −1, z kolei w drodze na prawą stronę wynosi +1. W szpiczastym miejscu wykresu spotykają się więc dwa kompletnie różne kąty nachylenia, przez co narysowanie jednej wspólnej stycznej jest zupełnie niemożliwe. Z tego powodu dla x = 0 pochodna po prostu nie istnieje.

Gdzie to występuje w MLFunkcja aktywacji ReLU, używana wszędzie w sieciach neuronowych, definiuje wzór max(0, x). Ma w punkcie 0 łamanie / róg zupełnie jak wartość bezwzględna z |x|. Z tego powodu jej matematyczna pochodna wprawdzie nie istnieje dokładnie w zerze, jednak popularne frameworki dla inżynierów ML potrafią w takich momentach zwyczajnie wymusić i z góry założyć własną wartość (przeważnie wybierając ugodowe…
▶ Różniczkowalność
← PochodnaPodstawowe reguły różniczkowania →