Bijzondere matrices

Meetkunde en algebra van lineaire afbeeldingen, vectoren en matrices

Een paar matrices komen zo vaak voor, met zulke heldere meetkunde, dat ze een naam verdienen. Ze meteen herkennen bespaart enorm veel moeite.

De eenheidsmatrix I heeft 1'en op de diagonaal en 0'en daarbuiten. Het is de "doe niets"-afbeelding: Ix = x voor elke vector. Een diagonaalmatrix heeft alleen op de diagonaal elementen die niet nul zijn; ze rekt elke as onafhankelijk uit, waarbij element dᵢ de i-de coördinaat schaalt en niets vermengt.

Denk aan een geluidsmengpaneel. De identiteitsmatrix I is als elke schuifregelaar geparkeerd op 1 staat: het signaal gaat er onaangetast doorheen, precies "doe niets." Een diagonale matrix is een set onafhankelijke volumeregelaars — elk versterkt of verzwakt een enkel kanaal op zichzelf, zonder dat een kanaal ooit in een ander doorbloedt.

Waar dit voorkomt in MLOrthogonale afbeeldingen houden signalen goed geschaald. Orthogonale gewichtsinitialisatie start een laag als een lengtebehoudende afbeelding zodat activaties en gradiënten noch ontploffen noch verdwijnen terwijl ze door vele lagen gaan. Diagonaalmatrices verschijnen als per-kenmerk-schalingen in batch norm, en de eenheidsmatrix is de ruggengraat van een residuele verbinding x + f(x), het "doe…
▶ Bijzondere matrices
← GetransponeerdeAx = b: meetkunde →