Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Düzenlileştirme genellikle kayba eklenen bir ceza olarak sunulur. Geometrik olarak, hangi parametre vektörlerinin ucuz ya da pahalı sayıldığını değiştirir. Bu da optimizasyon probleminin şeklini değiştirir. Aşağıda iki simge tekrar tekrar geçer: R(θ) ceza terimini adlandırır, λ (lambda) ise onun ne kadar güçlü sayıldığını belirler.
En yaygın iki ceza farklı davranır: L2 büyük ağırlıkları yumuşakça caydırır, L1 ise bazı ağırlıkları tam olarak sıfıra itebilen köşelere sahiptir.
Sıkı bir ağırlık limitiyle bavul paketlemek aynı şekle sahiptir. Her eşya yardımcı olabilir, ama ağır eşyalar bütçeyi hızla tüketir. Düzenlileştirme, büyük parametre seçimlerinin bütçeyi tüketmesini sağlar, bu yüzden model onları yalnızca yeterince yardımcı olduklarında tutar. Şekil, bütçeye sahip olmanın neden değerli olduğunu gösterir: model esnekliği arttıkça eğitim hatası düşmeye devam ederken doğrulama hatası sonunda tekrar yükselir. Düzenlileştirme, bu yükseliş gelmeden önce esnekliği dizginleyen düğmedir.