Функции f: Rⁿ → Rᵐ — Математический анализ II

Пока выход был одним числом. Пусть станет вектором. Функция f: Rⁿ → Rᵐ принимает вектор и возвращает вектор: много чисел на вход, много на выход. Это точная форма слоя нейросети, где входной вектор входит, а преобразованный выходит.

Понять любую векторнозначную функцию можно, читая по одной выходной координате. Каждая выходная компонента — обычная скалярная функция Rⁿ → R, компонентная функция. Сложите m таких — и получите всё отображение.

Микшерный пульт превращает несколько входных регуляторов в несколько выходных показаний одновременно: сдвиньте ползунки, и каждый индикатор отреагирует вместе. Это функция f: Rⁿ → Rᵐ: вектор входных данных входит, вектор выходных данных выходит. Чтобы понять это, вы читаете один индикатор за раз, поскольку каждая выходная координата f₁, f₂ и так далее — это собственный обычный рецепт, построенный из одних и тех же входных регуляторов.

Где это встречается в MLПрямой проход любой нейросети — композиция векторнозначных функций. Каждый слой — одно f: Rⁿ → Rᵐ: линейное отображение Wx + b с последующей поэлементной нелинейностью. Отслеживание, как малый толчок входа рябью проходит по этой цепочке, координата за координатой, — то, что формализуют якобиан (Модуль 3) и обратное распространение (Модуль 4).