Матричные нормы

Геометрия и алгебра линейных отображений, векторов и матриц

Как вектор имеет длину, так и матрица имеет «размер». Доминируют две меры, и они отвечают на разные вопросы: насколько велики элементы против того, насколько матрица может растянуть вектор.

Норма Фробениуса трактует матрицу как один длинный список чисел и берёт евклидову длину: квадрат каждого элемента, сумма, корень. Спектральная норма вместо этого измеряет максимальное растяжение — наибольший коэффициент, на который A может удлинить любой единичный вектор, что оказывается наибольшим сингулярным значением.

Относитесь к матрице как к гитарному усилителю (amplifier): вы подаете сигнал, и он выходит громче. Спектральная норма — это максимальное усиление (gain) усилителя, наибольший коэффициент, на который он может увеличить любой отправляемый вами входной сигнал. Поверните ручку на самую громкую настройку, и самый громкий единичный сигнал на выходе — это в точности эта норма.

Где это встречается в MLНорма Фробениуса и есть L2-регуляризация весов для целой матрицы: штраф ‖W‖_F² держит веса малыми, а модель гладкой. Спектральная норма управляет спектральной нормализацией, которая делит матрицу весов на её наибольшее сингулярное значение, ограничивая усиление. Это ключевой стабилизатор в GAN и инструмент для обеспечения границ Липшица.
▶ Матричные нормы
← Метод наименьших квадратовПроекции →