Lineaire benadering

Meervariabelecalculus vanuit eerste principes

Van dichtbij ziet elk glad oppervlak er vlak uit, zoals de aarde vlak aanvoelt onder je voeten. De lineaire benadering vervangt de kromme functie nabij een punt door het vlakke raakvlak dat het daar net raakt. De gradiënt levert de helling van dat vlak.

Lees het in woorden: de nieuwe waarde ≈ de oude waarde, plus de gradiënt in het inproduct met de stap die je nam. Dat inproduct is de richtingsafgeleide maal de staplengte, de beste lineaire schatting van hoeveel f bewoog.

Druk een kleine platte sticker op een strandbal en, precies waar hij zit, ziet de gebogen bal er perfect plat uit. De lineaire benadering is die sticker: een plat raakvlak dat het oppervlak op één punt kust en in de buurt als vervanger dient voor de kromme. Dwaal te ver over de bal en de sticker laat los van het oppervlak — de voorspelling dwaalt af.

Waar dit voorkomt in MLEén gradiëntafdalingsstap is een lineaire benadering in actie. Het updaten van w ← w − η∇L veronderstelt dat de verliesverandering goed voorspeld wordt door de lineaire term ∇L·δ. Wanneer de stap te groot is, bijt de kromming die je negeerde (de term ‖δ‖²) terug en kan het verlies overschieten of divergeren. De leersnelheid η houdt je in het gebied waar het oppervlak als vlak behandelen dicht…
▶ Lineaire benadering
← RichtingsafgeleideDe Jacobiaan →