Стабільний softmax і log-sum-exp

Обчислення багатьох змінних із перших принципів

Фінальний шар класифікатора видає вектор сирих балів, які називають логітами, по одному на клас. Softmax перетворює ці логіти в ймовірності: числа, що ніколи не від’ємні і завжди в сумі дають 1. Клас із найбільшим логітом отримує найбільшу частку ймовірності, і оскільки формула побудована з експонент, навіть невелика різниця між логітами може перетворитися на дуже нерівномірний розподіл.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Стабільний softmax і log-sum-exp
← Градієнти крізь лінійний шарСкінченні різниці і перевірка градієнтів →