Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Regularyzację często wprowadza się jako karę dodawaną do straty. Geometrycznie zmienia ona, które wektory parametrów uznaje się za tanie, a które za kosztowne. To zmienia kształt problemu optymalizacyjnego. Poniżej powracają dwa symbole: R(θ) oznacza wyraz karny, a λ (lambda) ustala, jak mocno się on liczy.
Dwie najpopularniejsze kary zachowują się różnie: L2 gładko zniechęca do dużych wag, podczas gdy L1 ma naroża, które mogą sprowadzić niektóre wagi dokładnie do zera.
Pakowanie walizki z surowym limitem wagi ma ten sam kształt. Każdy przedmiot może się przydać, ale ciężkie przedmioty szybko zużywają budżet. Regularyzacja sprawia, że duże wartości parametrów zużywają budżet, więc model zatrzymuje je tylko wtedy, gdy naprawdę na to zasługują. Rysunek pokazuje, dlaczego taki budżet się opłaca: w miarę wzrostu elastyczności modelu błąd treningowy wciąż spada, podczas gdy błąd walidacyjny w końcu zaczyna rosnąć. Regularyzacja to pokrętło, które trzyma elastyczność w ryzach, zanim ten wzrost się pojawi.