Approximation linéaire

Calcul multivarié depuis les premiers principes

De près, toute surface lisse paraît plate, de la même façon que la Terre semble plate sous vos pieds. L'approximation linéaire remplace la fonction courbe au voisinage d'un point par le plan tangent plat qui l'effleure en ce point. Le gradient fournit l'inclinaison de ce plan.

Lisez-le en mots : la nouvelle valeur ≈ l'ancienne valeur, plus le gradient en produit scalaire avec le pas effectué. Ce produit scalaire est la dérivée directionnelle multipliée par la longueur du pas, la meilleure estimation linéaire de la variation de f.

Pressez un petit autocollant plat sur un ballon de plage et, juste à l'endroit où il se trouve, le ballon courbé semble parfaitement plat. L'approximation linéaire est cet autocollant : un plan tangent plat qui embrasse la surface en un point et remplace la courbe à proximité. Éloignez-vous trop sur le ballon et l'autocollant se décolle de la surface — la prédiction s'éloigne.

Où cela apparaît en MLUn pas de descente de gradient est une approximation linéaire à l'œuvre. Mettre à jour w ← w − η∇L suppose que la variation de perte est bien prédite par le terme linéaire ∇L·δ. Lorsque le pas est trop grand, la courbure que vous avez ignorée (le terme ‖δ‖²) se venge et la perte peut dépasser sa cible ou diverger. Le taux d'apprentissage η vous maintient dans la région où traiter la surface comme…
▶ Approximation linéaire
← Dérivée directionnelleLa jacobienne →