Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Regularisasi sering diperkenalkan sebagai penalti yang ditambahkan ke loss. Secara geometris, ia mengubah vektor parameter mana yang dianggap murah atau mahal. Itu mengubah bentuk masalah optimisasinya. Dua simbol berikut ini akan berulang kali muncul: R(θ) menamai suku penalti, dan λ (lambda) menetapkan seberapa kuat suku itu diperhitungkan.
Dua penalti yang paling umum berperilaku berbeda: L2 mengurangi bobot besar secara mulus, sementara L1 memiliki sudut-sudut yang bisa mendorong beberapa bobot tepat menjadi nol.
Mengemas koper dengan batas berat yang ketat memiliki bentuk yang sama. Setiap barang mungkin berguna, tetapi barang yang berat cepat menghabiskan anggaran. Regularisasi membuat pilihan parameter yang besar menghabiskan anggaran, sehingga model hanya mempertahankannya jika cukup berguna. Gambar ini menunjukkan mengapa anggaran itu layak dimiliki: seiring fleksibilitas model tumbuh, galat training terus turun sementara galat validasi akhirnya berbalik naik. Regularisasi adalah kenop yang mengekang fleksibilitas sebelum kenaikan itu tiba.