Analiza jednowymiarowa od pierwszych zasad
Dwie funkcje napędzają całą maszynerię uczenia maszynowego: funkcja wykładnicza eˣ oraz funkcja do niej odwrotna, czyli logarytm naturalny ln(x). Znajdują one zastosowanie w rachunku prawdopodobieństwa, funkcjach straty, a także w modelowaniu procesów wzrostu i zaniku. Ich dobre zrozumienie już na samym początku bardzo zaprocentuje w przyszłości.
Cechą definiującą funkcję eˣ jest fakt, że tempo jej wzrostu jest równe jej aktualnej wartości — im jest ona większa, tym szybciej rośnie. Właśnie to tak naprawdę oznacza termin „wzrost wykładniczy”: nie tylko „szybki wzrost”, ale wzrost proporcjonalny do bieżącej wielkości. Wyjątkowa liczba e ≈ 2.718 to jedyna podstawa, dla której ta zasada jest ściśle prawdziwa.
Logarytm naturalny ln(x) po prostu odwraca działanie funkcji eˣ. Odpowiada na pytanie: „do jakiej potęgi należy podnieść liczbę e, aby otrzymać x?”. Właśnie dlatego ln(eˣ) = x oraz e^{ln x} = x. Ponieważ są to funkcje wzajemnie odwrotne, ich wykresy stanowią swoje odbicie lustrzane względem prostej y = x — przeciągnij punkt na rysunku i obserwuj jego odbicie na drugiej krzywej.