Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Il learning rate è la dimensione del passo della discesa del gradiente. Il gradiente indica in che direzione la loss sale più velocemente; l'ottimizzatore si muove nella direzione opposta. Il learning rate η decide di quanto si muove.
Troppo piccolo e l'addestramento avanza a fatica. Troppo grande e l'aggiornamento può saltare oltre la regione utile, rimbalzare o esplodere. La maggior parte dei problemi dell'ottimizzatore che sembrano misteriosi sono in realtà, prima di tutto, problemi di dimensione del passo.
Un kayak mostra bene questo compromesso. Piccole pagaiate mantengono il controllo ma rendono l'avanzamento lento. Pagaiate enormi possono far uscire il kayak dal canale, e allora sprechi energia per correggere. Il learning rate è la lunghezza della pagaiata. Provalo qui sotto: scegli un punto di partenza, poi alza η tra un'esecuzione e l'altra e guarda l'avanzamento costante trasformarsi in un superamento del bersaglio e in un rimbalzo.