Matrixnormen

Meetkunde en algebra van lineaire afbeeldingen, vectoren en matrices

Net zoals een vector een lengte heeft, heeft een matrix een "grootte." Twee maten domineren, en ze beantwoorden verschillende vragen: hoe groot zijn de elementen, versus hoeveel kan de matrix een vector uitrekken?

De Frobeniusnorm behandelt de matrix als één lange lijst van getallen en neemt de Euclidische lengte: kwadrateer elk element, tel op, neem de wortel. De spectraalnorm meet daarentegen de maximale uitrekking, de grootste factor waarmee A een eenheidsvector kan verlengen, wat blijkt te zijn de grootste singuliere waarde.

Denk aan een matrix als een gitaar amplifier: je voert een signaal in en het komt er luider uit. De spectrale norm is de maximale gain van de amplifier, de grootste factor waarmee het elke invoer die je erdoor stuurt kan versterken. Draai de knop naar de hardste stand en het hardste dat een eenheidssignaal eruit kan komen is exact die norm.

Waar dit voorkomt in MLDe Frobeniusnorm is L2-gewichtsregularisatie voor een hele matrix: het bestraffen van ‖W‖_F² houdt de gewichten klein en het model glad. De spectraalnorm drijft spectrale normalisatie aan, die een gewichtsmatrix deelt door haar grootste singuliere waarde om te begrenzen hoeveel ze kan versterken. Dat maakt het een belangrijke stabilisator in GAN's en een gereedschap om Lipschitz-grenzen af te…
▶ Matrixnormen
← Kleinste kwadratenProjecties →