Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Gradient descent berperilaku sangat berbeda pada permukaan loss yang bulat dibanding yang meregang. Conditioning mengukur peregangan itu. Conditioning yang buruk membuat optimizer zig-zag: satu arah curam, arah lain landai.
Untuk loss kuadratik, conditioning dikendalikan oleh eigenvalue Hessian. Condition number κ adalah rasio antara kelengkungan terbesar dan terkecil.
Pada mesin pinball dengan bumper samping yang rapat dan jalur keluar yang panjang serta sempit, satu pukulan keras membuat bolanya memantul-mantul dari sisi ke sisi sementara hanya bergerak maju perlahan. Conditioning yang buruk melakukan hal yang sama pada gradient descent: ia memantul di arah yang curam dan merangkak di arah yang landai. Gambar di bawah ini persis mesin itu. Geser κ untuk meregangkan mangkuknya, jalankan descent-nya, dan lihat jalurnya memantul melintasi arah yang sempit sementara merayap di sepanjang arah yang panjang. (Biarkan β pada 0 untuk saat ini; ia menjadi bintang pada pelajaran Momentum.)