Gradiëntenafname Voorbeeld

Eénvariabelecalculus vanuit eerste principes

Stel je wilt de laagste punt van een kromme vinden maar je kunt alleen het grondvlak recht onder je voeten zien - je kunt de helling voelen, niets meer. Wat doe je? Gewoon: stap in de dal richting, voel opnieuw, stap nogmaals. Herhaal dit. Dat is gradiëntenafname, het algoritme dat bijna elke moderne AI-model traint.

Stel je voor dat je bergafwaarts wandelt in dikke mist die zo dicht is dat je geen stap vooruit kunt kijken. Je kunt de bodem van de vallei niet zien, maar je kunt met je voet nog steeds voelen naar welke kant de grond afhelt, en die kant op stappen. Voel, stap, voel, stap. Gradiëntafdaling is exact dit blinde, geduldige geschuifel naar de laagste grond.

Geschreven als een regel die je positie bij elk stukje update:

Waar dit voorkomt in MLDeze ene regel is de kern van elke optimering in diepe leer. De gewichtsupdate is identiek in geest: w ← w − η∇L, waar ∇L slechts de multidimensionale afgeleide (de gradiënt) uit het volgende vak is. SGD, Adam, RMSProp enzovoort zijn allemaal verfijningen van deze skelet - slimme stapgrootte, momentum, per-parameter rates - maar de botten zijn precies dezelfde regel boven. Niet-convexititeit is…
▶ Gradiëntenafname Voorbeeld
← ConvexitairSystematisch Tekenen Protocol →