Formas Quadráticas

Geometria e álgebra de aplicações lineares, vetores e matrizes

Uma forma quadrática xᵀAx toma um vetor e devolve um único número que varia quadraticamente em x, a versão matricial de ax². Conforme x percorre todas as direções, este número traça uma superfície, e a matriz A (tomada simétrica) decide a forma daquela superfície.

Seus autovalores são as curvaturas ao longo dos eixos de autovalor, e seus sinais classificam a superfície completamente. Todos positivos: uma tigela abrindo para cima (positiva definida) com um mínimo limpo. Todos negativos: uma cúpula (negativa definida) com um máximo. Sinais mistos: uma sela (indefinida), para cima em algumas direções, para baixo em outras.

Alterne os sinais dos autovalores na figura e observe a superfície se transformar entre tigela, cúpula, e sela.

Onde isso aparece no MLA forma quadrática δᵀHδ é o termo de segunda ordem na expansão de Taylor de uma loss; ela é a curvatura local. Uma Hessiana positiva definida significa um mínimo local (uma tigela); uma indefinida significa uma sela, com as quais superfícies de loss de alta dimensão estão crivadas. Esta análise de curvatura conduz otimizadores de segunda ordem (método de Newton) e explica por que o treinamento…
▶ Formas Quadráticas
← ProjeçõesVetores & Geometria de Rⁿ →