Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Adam combina due idee: il momentum per il gradiente medio, e un riscalamento in stile RMSProp per il gradiente medio al quadrato. Poi corregge la distorsione iniziale perché quelle medie mobili partono da zero.
Questa combinazione rende Adam una scelta iniziale comune nel deep learning, specialmente quando i gradienti sono rumorosi e i parametri hanno scale molto diverse.
Un autopilota può usare due strumenti contemporaneamente. Uno mostra la direzione media di deriva dell'aereo. L'altro mostra quanto è stata turbolenta quella direzione. Adam usa la stessa idea: si muove seguendo la deriva persistente, ma riscala il movimento in base alla turbolenza recente. Nella figura puoi osservare direttamente la metà di Adam legata al momentum: alza β e il rimbalzo svanisce. Adam aggiunge sopra un ulteriore trucco, dividendo il passo di ciascuna coordinata per la scala recente del gradiente di quella stessa coordinata.