Якобиан — Математический анализ II

Когда выход — тоже вектор, функция f: Rⁿ → Rᵐ, одного градиента мало. Нужна частная каждого выхода по каждому входу. Сложите их в матрицу — получите якобиан J, полную первую производную векторнозначного отображения.

Строка i матрицы J — просто градиент i-го выхода. Так что якобиан — стопка градиентов, по одному на выходную координату. Форма m × n: строк столько, сколько выходов, столбцов — сколько входов.

Подумайте о микшерном пульте звукорежиссера, где каждый выходной канал реагирует на каждую входную ручку. Якобиан — это записанная таблица чувствительности: каждая запись говорит о том, насколько смещается один выход, когда вы сдвигаете одну входную ручку. Прочитайте по строке, чтобы увидеть все, что управляет одним выходом; прочитайте по столбцу, чтобы увидеть все, чем управляет одна ручка.

Где это встречается в MLЯкобиан слоя говорит, как малое возмущение входа меняет выход, локальное растяжение-сжатие слоя. Обратное распространение — просто перемножение этих послойных якобианов (следующий модуль). Когда говорят о исчезающих или взрывных градиентах, беспокоятся о том, что произведение якобианов слоёв сжимается к нулю или взрывается.