Матрични норми

Геометрия и алгебра на линейни приложения, вектори и матрици

Точно както векторът има дължина, матрицата също има „размер“. Доминират две основни мерки, които отговарят на различни въпроси: колко големи са нейните елементи, спрямо това колко най-много може матрицата да разтегне даден вектор?

Нормата на Фробениус разглежда матрицата като един дълъг списък от числа и взема евклидовата му дължина: повдигаме на квадрат всеки елемент, събираме и извличаме корен квадратен. Спектралната норма вместо това измерва максималното разтягане — най-големия коефициент, с който A може да удължи единичен вектор, който се оказва равен на най-голямата сингулярна стойност.

Представете си матрицата като китарен amplifier: подавате сигнал и той излиза по-силен. Спектралната норма е максималният gain на усилвателя, най-големият фактор, с който той може да подсили всеки вход, който пропуснете през него. Завъртете копчето на най-силната му настройка и най-силното, с което един единичен сигнал може да излезе, е точно тази норма.

Къде се използва това в MLНормата на Фробениус е в основата на L2 регуляризацията на теглата (weight decay) за цели матрици: наказването на ‖W‖_F² поддържа теглата малки, а модела — гладък. Спектралната норма стои в основата на спектралната нормализация, при която матрицата на теглата се разделя на нейната най-голяма сингулярна стойност, за да се ограничи максималното ѝ усилване. Това я прави ключов стабилизатор при GAN…
▶ Матрични норми
← Метод на най-малките квадратиПроекции →