Geometria i algebra odwzorowań liniowych, wektorów i macierzy
Norma odpowiada na pytanie: "jak duży jest ten wektor?". Stanowi ona miarę jego długości. Haczyk polega na tym, że istnieje więcej niż jeden sensowny sposób jej pomiaru, a wybór konkretnej metody niepostrzeżenie wpływa na zachowanie modeli uczenia maszynowego.
Domyślnie stosuje się normę L2 (euklidesową): mierzoną w linii prostej odległość od początku do końca wektora, wynikającą z twierdzenia Pitagorasa. Z kolei norma L1 sumuje wartości bezwzględne współrzędnych, co odpowiada geometrii taksówkowej (ang. taxicab geometry), jakbyśmy mogli poruszać się tylko po kwadratowej siatce ulic. Norma L∞ (norma maksimum) przyjmuje największą z wartości bezwzględnych współrzędnych.
Wyobraź sobie spacer przez miasto z jednego rogu na drugi. Odległość w linii prostej (w locie ptaka) to norma L2 — tak jak leciałby dron. Ale jeśli ulice zmuszają cię do poruszania się tylko po siatce, odległość miejskich przecznic, którą faktycznie przechodzisz, to norma L1. Ta sama podróż, dwie uczciwe miary tego, "jak daleko", a trasa po siatce nigdy nie jest krótsza niż trasa drona.