Lineaire onafhankelijkheid & basis

Meetkunde en algebra van lineaire afbeeldingen, vectoren en matrices

Een verzameling vectoren is lineair onafhankelijk wanneer geen enkele ervan een combinatie van de andere is. Elk trekt in een werkelijk nieuwe richting, geen is overbodig. Als je er wel één kunt schrijven als een combinatie van de rest, is de verzameling afhankelijk en bevat ze speling.

De scherpe test: de enige manier om de nulvector te maken uit een combinatie is door allemaal-nul gewichten te gebruiken.

Denk aan een minimale Lego-gereedschapsset. Een set bouwstenen is lineair independent wanneer elk blok een vorm toevoegt die je niet met de anderen had kunnen bouwen — geen enkele is redundant. Als één blok eigenlijk gewoon een paar van de andere aan elkaar geklikt is, is het overbodig gewicht en zou je het kunnen weggooien zonder een enkele te bouwen vorm te verliezen. Een basis is de meest gestroomlijnde set die alsnog alles kan bouwen.

Waar dit voorkomt in MLDit is de betekenis van rang: het aantal onafhankelijke richtingen dat een matrix daadwerkelijk gebruikt. Als de rijen van een gewichtsmatrix afhankelijk zijn, zijn sommige neuronen overbodig. Ze berekenen combinaties van de andere en voegen geen representatiekracht toe. Lage rang betekent een comprimeerbare laag (het idee achter LoRA), en een vol-rang embedding-tabel betekent dat elke…
▶ Lineaire onafhankelijkheid & basis
← Lineaire combinaties & opspanselMatrices als lineaire afbeeldingen →