Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
La discesa del gradiente si comporta in modo molto diverso su una superficie di loss rotonda rispetto a una allungata. Il condizionamento misura quell'allungamento. Un condizionamento scarso fa fare zig-zag all'ottimizzatore: una direzione è ripida, un'altra è piatta.
Per una loss quadratica, il condizionamento è controllato dagli autovalori della Hessiana. Il numero di condizionamento κ è il rapporto tra la curvatura più grande e quella più piccola.
In un flipper con paraurti laterali stretti e una lunga corsia d'uscita, un colpo forte manda la pallina a rimbalzare da un lato all'altro mentre avanza solo lentamente in avanti. Un condizionamento scarso fa lo stesso alla discesa del gradiente: rimbalza nella direzione ripida e avanza a fatica in quella piatta. La figura qui sotto è esattamente quella macchina. Sposta κ per allungare la ciotola, avvia la discesa, e guarda il percorso rimbalzare lungo la direzione stretta mentre avanza a stento lungo quella lunga. (Lascia β a 0 per ora; sarà protagonista nella lezione sul Momentum.)