Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Lanskap loss adalah bentuk dari L(θ) di seluruh ruang parameter. Untuk jaringan neural, bentuk itu berdimensi tinggi dan non-konveks: ia punya bentangan datar yang luas, bagian yang melengkung tajam, titik pelana yang naik di beberapa arah sementara turun di arah lain, dan banyak wilayah loss-rendah yang terpisah yang sering kali ternyata saling terhubung.
Anda tidak bisa memvisualisasikan lanskap yang sesungguhnya secara langsung, tetapi Anda bisa bernalar tentang geometri lokalnya: gradien, kelengkungan, noise, dan bagaimana optimizer yang berbeda-beda bergerak melewatinya.
Hamparan bukit pasir setelah angin kencang memiliki bidang-bidang datar yang luas, punggungan yang tajam, dan jalur yang tampak rata dari satu arah tetapi menanjak dari arah lain. Lanskap loss punya persoalan yang sama: bentuk lokalnya bergantung pada arah. Anda bisa membangun bentuk terpenting semacam itu di gambar bawah ini: geser dua kelengkungannya sampai satu positif dan yang lain negatif. Itulah pelana, rata di sepanjang satu garis dan menanjak di sepanjang garis lain, dan itulah jenis titik stasioner yang mendominasi lanskap berdimensi tinggi.