Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Le paysage de la loss est la forme de L(θ) sur l'espace des paramètres. Pour les réseaux de neurones, ce paysage est de grande dimension et non convexe : il a de larges étendues plates, d'autres fortement courbées, des points selle qui montent dans certaines directions tout en descendant dans d'autres, et de nombreuses régions séparées à faible loss qui s'avèrent souvent connectées entre elles.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Le paysage de la loss