Calcul multivarié depuis les premiers principes
Le calcul à une variable vivait sur une droite. L'apprentissage automatique, non. Les poids d'un réseau de neurones, un plongement, un gradient : chacun est un point dans un espace de grande dimension, Rⁿ. La bonne nouvelle est que la géométrie que vous connaissez du plan plat R² se transpose presque mot pour mot. Un vecteur reste une flèche depuis l'origine ; longueur, angle et « ombre sur un autre vecteur » ont toujours un sens. On ne peut simplement plus le dessiner.
Un vecteur v = (v₁, v₂, …, vₙ) est une liste ordonnée de nombres. On peut le lire de deux façons à la fois : comme un emplacement (le point où l'on arrive) et comme une direction avec une longueur (la flèche qui vous y mène). Les deux lectures comptent constamment en ML.
La norme (longueur) d'un vecteur découle directement de Pythagore, juste avec plus de termes :