クロスエントロピー

不確実性の数学

真実が分布pだが、異なるモデルqで結果を符号化するとする。クロスエントロピーは実際に払う平均の驚きです：モデルqで測った驚きを、pの下で事象が実際に起きる頻度で平均する：

これは2つの意味のあるピースに分割される：真実の避けられないエントロピーと、間違ったモデルを使うことのペナルティ、KLダイバージェンス（次のレッスン）です：

H(p)はデータで固定なので、クロスエントロピーをモデルで最小化することはKLダイバージェンスを最小化することと同一で、qをpに向ける。そしてクロスエントロピーは常に少なくともH(p)で、q = pのときのみ等号が成り立つ。