Bentuk Kuadrat

Geometri dan aljabar pemetaan linear, vektor, dan matriks

Sebuah bentuk kuadrat xᵀAx mengambil vektor dan mengembalikan satu angka yang berubah secara kuadratik terhadap x, versi matriks dari ax². Saat x menjelajahi semua arah, angka ini menelusuri sebuah permukaan, dan matriks A (diambil simetris) menentukan bentuk permukaan itu.

Eigenvalue-nya adalah kelengkungan sepanjang sumbu eigen, dan tanda mereka mengklasifikasikan permukaan sepenuhnya. Semua positif: mangkuk membuka ke atas (definit positif) dengan minimum bersih. Semua negatif: kubah (definit negatif) dengan maksimum. Tanda campuran: pelana (indefinit), naik di beberapa arah, turun di arah lain.

Nyalakan/matikan tanda eigenvalue pada gambar dan lihat permukaan berubah antara mangkuk, kubah, dan pelana.

Di mana ini berlaku dalam MLBentuk kuadrat δᵀHδ adalah suku orde kedua dalam ekspansi Taylor loss; ia adalah kelengkungan lokal. Hessian definit positif berarti minimum lokal (mangkuk); Hessian indefinit berarti pelana, yang banyak sekali di permukaan loss berdimensi tinggi. Analisis kelengkungan ini menggerakkan optimizer orde kedua (metode Newton) dan menjelaskan mengapa training lolos dari pelana alih-alih tersangkut di…
▶ Bentuk Kuadrat
← ProyeksiVektor & Geometri Rⁿ →