Forme Quadratiche

Geometria e algebra di applicazioni lineari, vettori e matrici

Una forma quadratica xᵀAx prende un vettore e restituisce un singolo numero che varia quadraticamente in x, la versione matriciale di ax². Mentre x percorre tutte le direzioni, questo numero traccia una superficie, e la matrice A (presa simmetrica) decide la forma di quella superficie.

I suoi autovalori sono le curvature lungo gli auto-assi, e i loro segni classificano la superficie completamente. Tutti positivi: una ciotola che si apre verso l'alto (definita positiva) con un minimo pulito. Tutti negativi: una cupola (definita negativa) con un massimo. Segni misti: una sella (indefinita), su in alcune direzioni, giù in altre.

Attiva i segni degli autovalori nella figura e guarda la superficie trasformarsi tra ciotola, cupola e sella.

Dove si trova nel MLLa forma quadratica δᵀHδ è il termine di secondo ordine nello sviluppo di Taylor di una loss; è la curvatura locale. Una Hessiana definita positiva significa un minimo locale (una ciotola); una indefinita significa una sella, di cui le superfici di loss in alte dimensioni sono piene. Questa analisi di curvatura guida gli ottimizzatori del secondo ordine (metodo di Newton) e spiega perché…
▶ Forme Quadratiche
← ProiezioniVettori e Geometria di Rⁿ →