La Dérivée

Calcul à une variable depuis les premiers principes

La dérivée répond à une question : à quelle vitesse change la fonction en un instant donné? Géométriquement, c'est la pente de la courbe exactement au point considéré, la pente de la tangente qui y touche juste.

Pensez au compteur de vitesse dans une voiture en marche. Votre vitesse moyenne sur une heure est la distance totale divisée par le temps total, mais l'aiguille montre quelque chose de plus précis : exactement à quelle vitesse vous allez à cet instant précis. La dérivée est cette aiguille, le taux de variation figé à un instant unique plutôt qu'étalé sur un intervalle.

Mais voici l'énigme. La pente nécessite deux points : le quotient de la différence des ordonnées par celle des abscisses. Un seul point ne donne aucun point d'où mesurer. Alors, comment un point isolé peut-il avoir une pente du tout ? Le tour est de se rapprocher de lui.

Où cela apparaît en MLLe gradient qui entraîne chaque réseau neuronal est exactement cette dérivée, appliquée à la perte. La quantité ∂L/∂w est la pente de la perte lorsque vous ajustez un poids w : son signe indique dans quelle direction la perte diminue, et sa magnitude indique à quel point la perte est sensible à ce poids. L'entraînement consiste simplement à évaluer cette limite (un moteur autograd fait cela pour…
▶ La Dérivée
← ContinuitéDifférentiabilité →