Stabilní Softmax & Log-Sum-Exp

Matematická analýza více proměnných od základních principů

Poslední vrstva klasifikátoru produkuje vektor neopracovaných skóre nazývaných logity, jeden pro každou třídu. Softmax převádí tyto logity na pravděpodobnosti: čísla, která nikdy nejsou záporná a jejichž součet je vždy roven 1. Třída s největším logitem získá největší podíl pravděpodobnosti, a protože je vzorec založen na exponenciálních funkcích, i malá mezera mezi logity se může proměnit ve výrazně nevyrovnané rozdělení.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Stabilní Softmax & Log-Sum-Exp
← Gradienty v lineární vrstvěKonečné diference a kontrola gradientu →