第一原理からの多変数微分積分
分類器の最終層は、クラスごとに1つずつ、ロジットと呼ばれる生のスコアのベクトルを出力する。softmaxはこれらのロジットを確率に変える:決して負にならず、必ず合計が1になる数だ。ロジットが最大のクラスが確率の最大の取り分を得る。そして式が指数関数でできているため、ロジット同士のわずかな差でさえ、大きく偏った分配になり得る。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 安定なsoftmaxとlog-sum-exp