Formes Quadratiques

Géométrie et algèbre des applications linéaires, vecteurs et matrices

Une forme quadratique xᵀAx prend un vecteur et renvoie un seul nombre qui varie quadratiquement en x, la version matricielle de ax². Quand x balaie toutes les directions, ce nombre trace une surface, et la matrice A (prise symétrique) décide la forme de cette surface.

Ses valeurs propres sont les courbures le long des axes propres, et leurs signes classifient la surface complètement. Toutes positives : un bol s'ouvrant vers le haut (définie positive) avec un minimum net. Toutes négatives : un dôme (définie négative) avec un maximum. Signes mixtés : une col (indéfinie), montant dans certaines directions, descendant dans d'autres.

Basculez les signes des valeurs propres dans la figure et observez la surface se transformer entre bol, dôme, et col.

Où cela apparaît en MLLa forme quadratique δᵀHδ est le terme de second ordre dans le développement de Taylor d'une loss ; c'est la courbure locale. Un Hessian défini positif signifie un minimum local (un bol) ; un indéfini signifie une col, dont les surfaces de loss en haute dimension sont truffées. Cette analyse de courbure alimente les optimiseurs de second ordre (méthode de Newton) et explique pourquoi…
▶ Formes Quadratiques
← ProjectionsVecteurs et géométrie de Rⁿ →