Geometri Hessian

Kalkulus multivariabel dari prinsip pertama

Eigenvalue Hessian mengubah pertanyaan kabur 'tipe titik kritis apa ini?' menjadi daftar periksa bersih. Di titik tempat gradien nol, tanda eigenvalue Hessian memberi tahu apakah Anda duduk di mangkuk, di kubah, atau di pelana.

Ini adalah uji turunan-kedua multivariabel, dan merupakan generalisasi langsung dari 1-D: di sana, f″ > 0 berarti min dan f″ maks. Eigenvalue Hessian adalah versi banyak arah dari angka tunggal itu.

Bayangkan tiga camilan. Mangkuk sup melengkung ke atas ke arah mana pun Anda memiringkannya, kubah es krim melengkung ke bawah di mana-mana, dan keripik Pringles membungkuk ke atas sepanjang panjangnya tetapi melengkung ke bawah melintasi lebarnya. Nilai eigen Hessian hanyalah kelengkungan di sepanjang arah khusus tersebut: tanda yang sama berarti mangkuk atau kubah, tanda berlawanan (seperti 2 dan −2) berarti keripik, pelana.

Di mana ini berlaku dalam MLDi dimensi tinggi, titik pelana jauh lebih banyak daripada minimum lokal. Untuk titik kritis acak dalam n dimensi, semua n eigenvalue harus berbagi tanda agar menjadi min atau maks sejati, yang secara eksponensial tidak mungkin. Jadi melatih deep net sebagian besar tentang melarikan diri dari pelana, tempat gradien kecil tapi Anda tidak ada dekat dasar, bukan terjebak di minimum lokal buruk.…
▶ Geometri Hessian
← HessianAturan Rantai: Komposisi Skalar →