Якобианът

Многопроменливо смятане от първи принципи

Когато изходът също е вектор, за функция f: Rⁿ → Rᵐ един градиент не е достатъчен. Имате нужда от частната производна на всеки изход по отношение на всеки вход. Подредете ги всички в матрица и ще получите Якобиан J, пълната първа производна на векторна функция.

Ред i от J е просто градиентът на i-тия изход. Така че якобианът е набор от градиенти, по един за всяка изходна координата. Формата му е m × n: брой редове колкото са изходите, брой колони колкото са входовете.

Представете си смесителен пулт на звукорежисьор, където всеки изходен канал реагира на всеки входен регулатор. Якобианът е тази таблица на чувствителността, изписана: всеки запис казва колко се променя един изход, когато бутнете един входен регулатор. Четете по ред, за да видите всичко, което управлява един-единствен изход; четете по колона, за да видите всичко, което един регулатор контролира.

Къде се използва това в MLЯкобианът на даден слой показва как едно малко смущение на неговия вход променя неговия изход – локалното разтягане и свиване на този слой. Обратното разпространение е просто умножаване на тези якобиани на слоевете (следващ модул). Когато хората се тревожат за изчезващи или експлодиращи градиенти, те всъщност се притесняват, че произведението на якобианите на слоевете клони към нула или нараства…
▶ Якобианът
← Линейна апроксимацияГеометрия на Якобиана →