Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Регуляризацията често се въвежда като наказание (penalty), добавено към загубата. Геометрично тя променя кои вектори на параметри се смятат за евтини или скъпи. Това променя формата на оптимизационния проблем. По-долу се повтарят два символа: R(θ) назовава наказателния член, а λ (ламбда) задава колко силно се брои той.
Двете най-разпространени наказания се държат различно: L2 плавно обезкуражава големите тегла, докато L1 има ъгли, които могат да избутат някои тегла точно до нула.
Пакетирането на куфар със строго ограничение на теглото има същата форма. Всеки предмет може да помогне, но тежките предмети бързо изчерпват бюджета. Регуляризацията кара големите избори на параметри да изчерпват бюджета, така че моделът ги запазва само когато помагат достатъчно. Фигурата показва защо си струва да имаме такъв бюджет: докато гъвкавостта на модела нараства, тренировъчната грешка продължава да пада, докато валидационната грешка накрая се обръща и започва да расте. Регуляризацията е ключето, което ограничава гъвкавостта, преди да настъпи този обрат.