Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Soms mogen parameters niet zomaar overal heen bewegen. Ze moeten aan randvoorwaarden voldoen: niet-negatieve gewichten, begrensde normen, kansen die niet-negatief moeten blijven en tot 1 moeten optellen (een verzameling die de kansensimplex heet), eerlijkheidsgrenzen, veiligheidsgrenzen, of fysieke haalbaarheid.
Beperkte optimalisatie betekent het verlies minimaliseren terwijl je binnen de toegestane verzameling blijft. Eén praktische methode is geprojecteerde gradiëntafdaling: neem een gewone stap, en projecteer dan terug op de toelaatbare verzameling.
Een robotstofzuiger met grensstrips kan proberen door een muur te rijden, maar de grens dwingt hem terug de toegestane kamer in. Geprojecteerde optimalisatie werkt op dezelfde manier. Een gradiëntstap kan naar buiten wijzen, waarna projectie het resultaat terugklikt naar het toelaatbare gebied. De figuur hieronder toont de meetkundige kern van de bewerking: een punt naar beneden trekken naar zijn dichtstbijzijnde vertegenwoordiger op een toegestane verzameling (daar, een lijn). Projecteren op een doos of een kansensimplex gebruikt hetzelfde dichtstbijzijnde-punt-principe met een andere toegestane verzameling.