Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Regularisatie wordt vaak geïntroduceerd als een straf die aan het verlies wordt toegevoegd. Meetkundig verandert het welke parametervectoren als goedkoop of duur gelden. Dat verandert de vorm van het optimalisatieprobleem. Twee symbolen komen hieronder steeds terug: R(θ) noemt de straf, en λ (lambda) bepaalt hoe zwaar die meetelt.
De twee meest voorkomende straffen gedragen zich anders: L2 ontmoedigt grote gewichten geleidelijk, terwijl L1 hoeken heeft die sommige gewichten precies naar nul kunnen duwen.
Een koffer inpakken met een strikte gewichtslimiet heeft dezelfde vorm. Elk item kan helpen, maar zware items verbruiken snel het budget. Regularisatie zorgt ervoor dat grote parameterkeuzes budget verbruiken, zodat het model ze alleen behoudt wanneer ze genoeg opleveren. De figuur toont waarom dat budget de moeite waard is: naarmate de flexibiliteit van het model groeit, blijft de trainingsfout dalen terwijl de validatiefout uiteindelijk weer omhoog draait. Regularisatie is de knop die de flexibiliteit intoomt voordat die opwaartse draai aankomt.