Geometrie und Algebra von linearen Abbildungen, Vektoren und Matrizen
Eine Norm beantwortet die Frage „wie groß ist dieser Vektor?“. Sie misst die Länge. Der Haken dabei ist, dass es mehr als eine sinnvolle Möglichkeit gibt, die Länge zu messen, und diese Wahl beeinflusst stillschweigend, wie sich Modelle des maschinellen Lernens verhalten.
Die Standardnorm ist die L2- (euklidische) Norm: der geradlinige Abstand vom Ursprung zur Spitze, gemäß Pythagoras. Die L1-Norm addiert stattdessen die Beträge der Koordinaten, den "Taxicab"-Abstand, als ob man nur entlang von Straßen fahren könnte. Die L∞-Norm nimmt einfach die größte einzelne Koordinate.
Stell dir vor, du gehst durch die Stadt von einer Ecke zur anderen. Die direkte, geradlinige Entfernung (Luftlinie) ist die L2-Norm — das, was eine Drohne fliegen würde. Aber wenn die Straßen dich zwingen, dich nur entlang des Gitters zu bewegen, ist die von dir tatsächlich gelaufene Block-Distanz die L1-Norm. Dieselbe Reise, zwei ehrliche Maße für „wie weit“, und die Gitter-Route ist niemals kürzer als die Luftlinie.