Softmax stable et log-sum-exp

Calcul multivarié depuis les premiers principes

La dernière couche d'un classifieur produit un vecteur de scores bruts appelés logits, un par classe. Softmax transforme ces logits en probabilités : des nombres jamais négatifs et dont la somme vaut toujours 1. La classe avec le plus grand logit reçoit la plus grande part de probabilité, et comme la formule est construite à partir d'exponentielles, même un petit écart entre logits peut se transformer en un partage très déséquilibré.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Softmax stable et log-sum-exp
← Gradients à travers une couche linéaireDifférences finies et vérification du gradient →