Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Metode orde-pertama memakai gradien. Metode orde-dua juga memakai kelengkungan, biasanya lewat Hessian. Kelengkungan memberi tahu optimizer bagaimana gradien itu sendiri berubah seiring parameter bergerak.
Metode Newton memakai kelengkungan itu untuk memilih langkah yang bisa langsung melompat ke minimum sebuah kuadratik. Harganya adalah Hessian berukuran sangat besar pada jaringan neural modern.
Operator crane memakai load chart karena arah saja tidak cukup. Bebannya juga membengkokkan boom-nya, dan lengkungan itu mengubah pergerakan mana yang aman. Optimisasi orde-dua membaca lengkungan itu, bukan sekadar tarikannya, sebelum memutuskan seberapa jauh untuk bergerak. Pada gambar ini Anda berperan sebagai operatornya: geser dua kelengkungannya dan lihat permukaannya menjadi mangkuk, kubah, atau pelana. Eigenvalue Hessian persis adalah dua kenop itu.