Calcul multivarié depuis les premiers principes
Une fonction f: Rⁿ → R prend un vecteur en entrée et renvoie un seul nombre. L'exemple qui anime l'apprentissage automatique est la perte : on lui fournit tous les poids du réseau, et elle renvoie un seul nombre qui indique à quel point il fonctionne mal. L'entraînement tout entier est une chasse au point le plus bas de cette fonction.
Pour deux entrées, on peut réellement se la représenter : z = f(x, y) est une surface, un paysage de collines et de vallées flottant au-dessus du plan xy. La hauteur en chaque (x, y) est la valeur de la fonction.
Imaginez l'air dans une pièce : tenez-vous à n'importe quel endroit et un thermomètre lit exactement une température. C'est une fonction f: R² → R déguisée : une position (x, y) y entre, et un seul nombre (la chaleur à cet endroit) en sort. La pièce entière devient un paysage de zones chaudes et froides, plus élevées près du radiateur, plus basses près de la fenêtre.