Кратко: Векторные пространства функций — Математический анализ I

Функции ведут себя как векторы. Вы уже знаете, что можно сложить две стрелки и растянуть стрелку числом. То же самое можно делать с функциями, и почти всё, что вы знаете о векторах, переносится напрямую.

Сложить две функции — сложить их поточечно: на каждом входе x выход новой функции — сумма двух выходов. Масштабировать функцию числом c — умножить каждый выход на c. Эти две операции — то, что делает что-то «векторным пространством».

Представьте себе две аудиодорожки, играющие одновременно: басовую линию и мелодию. Чтобы свести их, вы складываете две формы волны момент за моментом, в точности как при поточечном сложении функций. А поворот ручки громкости одной дорожки на 70% — это просто масштабирование этой функции на 0.7 в каждый момент времени. Сведение и громкость — это сложение и масштабирование, два действия, которые заставляют функции вести себя как векторы.

Где это встречается в MLЛинейный слой выводит взвешенную сумму базисных признаков: ровно «c₁·f₁ + c₂·f₂ + …» с изученными весами. Фурье-признаки, полиномиальные признаки и скрытые единицы сети — всё базисы, которые вы комбинируете, чтобы охватить пространство функций. Когда говорят, что сеть — «универсальный аппроксиматор», имеют в виду, что её блоки охватывают достаточно богатое пространство функций, чтобы приблизить…