Преобразования — Математический анализ I

Зная форму одной функции, не нужно перерисовывать, чтобы понять целое семейство родственников. Четыре простые операции двигают, растягивают и переворачивают график вполне предсказуемо. Научитесь видеть их — и построение становится узнаванием, а не арифметикой.

Это именно то, что делает фоторедактор. Вы никогда не перерисовываете картинку пиксель за пикселем; вы сдвигаете её в сторону, вытягиваете в высоту или переворачиваете по горизонтали, и та же форма оказывается в новом месте. Преобразование функции — это та же горстка правок в одно касание, применяемых к графику вместо фотографии.

От базовой формы f(x): умножение выхода на a растягивает вертикально; умножение входа на b растягивает горизонтально; вычитание c внутри сдвигает вправо; добавление d снаружи поднимает вверх. Вместе:

Где это встречается в MLЭто не аналогия — пакетная нормализация буквально это преобразование. Слой batch-norm берёт нормализованную активацию x̂ и выводит γ·x̂ + β, где γ — изученный масштаб (это a выше), а β — изученный сдвиг (это d). Сеть учит, куда поместить и как растянуть каждую активацию. Форма функции активации — тоже преобразование: «более крутой» tanh — просто b > 1, а температура в softmax — внутренний масштаб…