Formas Quadráticas

Geometria e álgebra das aplicações lineares, vetores e matrizes

Uma forma quadrática xᵀAx toma um vetor e devolve um único número que varia quadraticamente em x, a versão matricial de ax². À medida que x percorre todas as direções, este número traça uma superfície, e a matriz A (tomada simétrica) decide a forma dessa superfície.

Os seus valores próprios são as curvaturas ao longo dos eixos de vetor próprio, e os seus sinais classificam a superfície por completo. Todos positivos: uma tigela a abrir para cima (positiva definida) com um mínimo limpo. Todos negativos: uma cúpula (negativa definida) com um máximo. Sinais mistos: uma sela (indefinida), para cima nalgumas direções, para baixo noutras.

Alterna os sinais dos valores próprios na figura e observa a superfície transformar-se entre tigela, cúpula e sela.

Onde isto aparece no MLA forma quadrática δᵀHδ é o termo de segunda ordem na expansão de Taylor de uma loss; ela é a curvatura local. Uma Hessiana positiva definida significa um mínimo local (uma tigela); uma indefinida significa uma sela, com as quais as superfícies de loss de alta dimensão estão crivadas. Esta análise de curvatura conduz os otimizadores de segunda ordem (método de Newton) e explica por que o treino…
▶ Formas Quadráticas
← ProjeçõesVetores & Geometria de Rⁿ →