Pochodna iloczynu i ilorazu

Analiza jednowymiarowa od pierwszych zasad

Gdy dwie funkcje są przez siebie mnożone, w żadnym wypadku nie można tak po prostu pomnożyć przez siebie ich pochodnych. Bywa to bardzo kuszące, ale zawsze prowadzi do błędnego wyniku. Prawidłowa zasada musi bowiem rzetelnie uwzględniać to, że oba czynniki zmieniają się tutaj jednocześnie.

Wyobraź sobie prostokąt, którego szerokość ma długość f, a wysokość g. Wówczas jego pole powierzchni jest oczywiście równe f·g. Gdybyśmy zechcieli minimalnie zwiększyć oba boki jednocześnie, pole urosłoby na dwóch różnych odcinkach: zyskalibyśmy nowy poziomy pasek od powiększonej szerokości, oraz dodatkowy pionowy pasek z racji podniesionej wysokości. To bardzo dobrze oddaje powód, dla którego we wzorze widnieją ostatecznie dwa osobne człony, a nie jeden.

Wyobraź sobie prostokątny ogród, którego szerokość i wysokość są obie powiększane w tym samym czasie. Nowe pole to nie jest tylko jeden pasek, zyskujesz pasek wzdłuż dłuższej szerokości oraz pasek wzdłuż wyższej wysokości. Właśnie dlatego reguła mnożenia ma dwa człony: kiedy mnożą się dwie zmieniające się wielkości, wzrost każdej z nich dodaje własny kawałek do całości.

Gdzie to występuje w MLTe reguły stanowią absolutne fundamenty, które system pod spodem ze sobą łączy. Znormalizowane wartości takie jak prawdopodobieństwo w funkcji softmax, czy ułamek z uwagą (attention weight) są tak naprawdę z matematycznego punktu widzenia po prostu ilorazami (coś podzielone przez sumę). Ich różniczkowanie angażuje z urzędu dokładnie opisaną tu regułę. Normalizacja wsadowa (batch normalization)…
▶ Pochodna iloczynu i ilorazu
← Podstawowe reguły różniczkowaniaReguła łańcuchowa →