Lineare Approximation

Mehrdimensionale Analysis aus ersten Prinzipien

Aus der Nähe betrachtet sieht jede glatte Oberfläche eben aus, so wie sich die Erde unter deinen Füßen eben anfühlt. Die lineare Approximation ersetzt die gekrümmte Funktion in der Nähe eines Punkts durch die ebene Tangentialebene, die sie dort gerade so berührt. Der Gradient liefert die Neigung dieser Ebene.

In Worten gelesen: Der neue Wert ≈ der alte Wert, plus das Skalarprodukt aus Gradient und dem Schritt, den du gemacht hast. Dieses Skalarprodukt ist die Richtungsableitung mal der Schrittlänge, die beste lineare Schätzung dafür, um wie viel sich f bewegt hat.

Drücke einen kleinen flachen Aufkleber auf einen Wasserball und genau dort, wo er sitzt, sieht der gewölbte Ball vollkommen flach aus. Die lineare Näherung ist dieser Aufkleber: eine flache Tangentialebene, die die Oberfläche an einem Punkt berührt und für die Kurve in der Nähe einsteht. Wenn man zu weit über den Ball wandert, löst sich der Aufkleber von der Oberfläche — die Vorhersage weicht ab.

Wo das im ML vorkommtEin Gradientenabstiegs-Schritt ist eine lineare Approximation in Aktion. Die Aktualisierung w ← w − η∇L setzt voraus, dass die Verluständerung durch den linearen Term ∇L·δ gut vorhergesagt wird. Ist der Schritt zu groß, schlägt die Krümmung zurück, die du ignoriert hast (der ‖δ‖²-Term), und der Verlust kann überschießen oder divergieren. Die Lernrate η hält dich in dem Bereich, in dem es nahe…
▶ Lineare Approximation
← RichtungsableitungDie Jacobi-Matrix →