Stabilny softmax i log-sum-exp

Analiza wielowymiarowa od pierwszych zasad

Ostatnia warstwa klasyfikatora produkuje wektor surowych wyników zwanych logitami, po jednym na klasę. Softmax zamienia te logity na prawdopodobieństwa: liczby, które nigdy nie są ujemne i zawsze sumują się do 1. Klasa z największym logitem dostaje największy udział prawdopodobieństwa, a ponieważ wzór opiera się na funkcjach wykładniczych, nawet niewielka różnica między logitami może zamienić się w bardzo nierówny podział.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Stabilny softmax i log-sum-exp
← Gradienty przez warstwę liniowąRóżnice skończone i sprawdzanie gradientu →