Spezielle Matrizen

Geometrie und Algebra von linearen Abbildungen, Vektoren und Matrizen

Einige Matrizen tauchen so häufig auf, mit einer so sauberen Geometrie, dass sie eigene Namen bekommen. Sie auf Anhieb zu erkennen spart enormen Aufwand.

Eine Einheitsmatrix I hat Einsen auf der Diagonale und ansonsten Nullen. Sie ist die "tue nichts"-Abbildung: Ix = x für jeden Vektor. Eine Diagonalmatrix hat von null verschiedene Einträge nur auf der Diagonale; sie streckt jede Achse unabhängig voneinander, wobei der Eintrag dᵢ die i-te Koordinate skaliert, ganz ohne Vermischung.

Denk an ein Tonmischpult. Die Einheitsmatrix I bedeutet, dass jeder Regler auf 1 steht: das Signal geht unberührt durch, genau „nichts tun“. Eine Diagonalmatrix ist eine Reihe unabhängiger Lautstärkeregler — jeder verstärkt oder dämpft einen einzelnen Kanal für sich, wobei niemals ein Kanal in einen anderen übergeht.

Wo das im ML vorkommtOrthogonale Abbildungen halten Signale gut skaliert. Die orthogonale Gewichtsinitialisierung startet eine Schicht als längenerhaltende Abbildung, sodass Aktivierungen und Gradienten weder explodieren noch verschwinden, wenn sie durch viele Schichten hindurchlaufen. Diagonalmatrizen treten als Skalierungen pro Merkmal in der Batch-Norm auf, und die Einheitsmatrix ist das Rückgrat einer…
▶ Spezielle Matrizen
← TransponierenAx = b: Geometrie →