Cum învață de fapt modelele, de la coborârea pe gradient standard la Adam
Peisajul funcției de pierdere este forma lui L(θ) peste spațiul parametrilor. Pentru rețelele neuronale acesta este înalt-dimensional și neconvex: are întinderi largi plate, unele puternic curbate, puncte șa (saddle points) care urcă în unele direcții în timp ce coboară în altele, și multe regiuni separate cu pierdere scăzută care adesea se dovedesc a fi conectate.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Peisajul funcției de pierdere