Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
La discesa del gradiente si comporta in modo molto diverso su una superficie di loss rotonda rispetto a una allungata. Il condizionamento misura quell'allungamento. Un condizionamento scarso fa fare zig-zag all'ottimizzatore: una direzione è ripida, un'altra è piatta.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Condizionamento e Zig-Zag