Геометрия и алгебра на линейни приложения, вектори и матрици
Нормата отговаря на въпроса „колко е голям този вектор?“. Тя измерва неговата дължина. Уловката е, че има повече от един логичен начин за измерване на дължина, и изборът тихо определя поведението на моделите в машинното обучение.
По подразбиране се използва L2 (Евклидовата) норма: разстоянието по права линия от началото до върха, според теоремата на Питагор. L1 нормата вместо това сумира абсолютните стойности на координатите – т.нар. „таксиметрово разстояние“ (Manhattan distance), сякаш можете да се движите само по улиците на правоъгълна мрежа. Нормата L∞ взима просто най-голямата по абсолютна стойност координата.
Представете си, че се разхождате през града от един ъгъл до друг. Разстоянието по права линия, по въздух, е L2 нормата — това, което би прелетял дрон. Но ако улиците ви принуждават да пътувате само по мрежата, разстоянието по градски квартали, което реално изминавате, е L1 нормата. Едно и също пътуване, две честни мерки за "колко далеч", като маршрутът по мрежата никога не е по-къс от този по въздух.