Rang, nulruimte, kolomruimte

Meetkunde en algebra van lineaire afbeeldingen, vectoren en matrices

Drie grootheden vatten samen wat een matrix werkelijk doet. De kolomruimte is alles wat Ax kan bereiken: het opspansel van de kolommen, het "uitvoergebied" van de matrix. De rang is de dimensie van die kolomruimte, het aantal werkelijk onafhankelijke richtingen dat A voortbrengt. En de nulruimte is alles wat A tot nul plet, alle x met Ax = 0.

Stel je voor dat je de weg wijst met behulp van oriëntatiepunten. Als je zegt "ga richting de toren" en "ga richting de tweeling van de toren er pal naast," heb je eigenlijk maar één oprechte richting gegeven — de tweede voegt niets nieuws toe. De rang telt hoeveel van de richtingen van een matrix op deze manier echt onafhankelijk zijn; elke richting die inzakt tot helemaal geen beweging behoort tot de nulruimte.

De dimensies gehoorzamen aan een nette balans, de rang–nulliteitstelling: de invoerdimensies splitsen in de richtingen die overleven (rang) en de richtingen die geplet worden (nulliteit).

Waar dit voorkomt in MLRang meet de echte expressiviteit van een laag. Een gewichtsmatrix die lage rang heeft, bevat redundante neuronen (meerdere die combinaties van de andere berekenen) en kan zonder verlies gecomprimeerd worden. Dit is de motor van LoRA: vervang een grote gewichtsupdate door een lage-rang product BA, en train veel minder parameters omdat de bruikbare update in slechts enkele richtingen leeft.
▶ Rang, nulruimte, kolomruimte
← Gauss-eliminatieMatrixinverse →