Ax = b: Geometrie

Geometrie und Algebra von linearen Abbildungen, Vektoren und Matrizen

Die Gleichung Ax = b ist die zentrale Rechnung der linearen Algebra: Gegeben eine Transformation A und ein Ziel b – welcher Eingabevektor x landet auf dem Ziel? Liest man sie als Geometrie, wird der Charakter der Antwort schon sichtbar, bevor man überhaupt etwas berechnet.

Es gibt zwei Möglichkeiten, sie sich vorzustellen. Die Zeilenansicht: Jede Gleichung ist eine Gerade (in 2-D) oder eine Ebene (in 3-D), und die Lösung liegt dort, wo sie sich alle schneiden. Die Spaltenansicht: b muss eine Linearkombination der Spalten von A sein, und x enthält die Gewichte dieser Kombination.

Geometrisch gibt es genau drei Fälle. Die Geraden schneiden sich in einem Punkt (eine eindeutige Lösung); sie sind parallel und verschieden (keine Lösung, die Ziele treffen nie zusammen); oder sie sind ein und dieselbe Gerade (unendlich viele Lösungen). Ziehe die Geraden in der Abbildung durch alle drei Fälle.

Wo das im ML vorkommtReale ML-Systeme sind in der Regel überbestimmt: weit mehr Gleichungen (Datenpunkte) als Unbekannte (Parameter), sodass ein exaktes Ax = b fast nie eine Lösung hat. Genau das ist der ganze Grund für die Methode der kleinsten Quadrate (eine spätere Lektion). Wenn man b nicht exakt treffen kann, findet man das x, das ihm am nächsten kommt. Die lineare Regression ist genau diese Situation „keine…
▶ Ax = b: Geometrie
← Spezielle MatrizenGaußsche Elimination →