Géométrie et algèbre des applications linéaires, vecteurs et matrices
Une norme répond à « quelle est la taille de ce vecteur ? » Elle mesure la longueur. Le hic est qu'il y a plus d'une façon sensée de mesurer la longueur, et le choix façonne discrètement le comportement des modèles de machine learning.
La norme par défaut est la norme L2 (euclidienne) : la distance en ligne droite de l'origine à la pointe, par Pythagore. La norme L1 additionne les coordonnées absolues, la distance « taxi », comme si vous ne pouviez voyager que le long des rues du quadrillage. La norme L∞ prend simplement la plus grande coordonnée en valeur absolue.
Imaginez traverser la ville à pied d'un coin à l'autre. La distance en ligne droite, à vol d'oiseau, est la norme L2 — ce qu'un drone volerait. Mais si les rues vous obligent à voyager uniquement le long de la grille, la distance en blocs de ville que vous marchez réellement est la norme L1. Même trajet, deux mesures honnêtes de "à quelle distance", et l'itinéraire de la grille n'est jamais plus court que celui de l'oiseau.