The mathematics of uncertainty
Entropi belirsizliği ölçer: rastgele bir sonuç karşısında ne kadar şaşırmayı beklediğini. Adil bir madeni para azami belirsizliktedir; iki tarafı da tura olan bir para hiç sürpriz içermez. Claude Shannon bunu bir sayıya dönüştürdü — beklenen şaşkınlık; burada nadir bir olayın şaşkınlığı −log p(x)'tir (daha nadir, daha şaşırtıcı demektir).
log₂ kullanmak entropiyi bit cinsinden ölçer — sonucu belirlemek için gereken ortalama evet/hayır soru sayısı. Entropi, dağılım tekdüze olduğunda (her sonuç eşit olasılıkta, azami kafa karışıklığı) en büyüktür ve bir sonuç kesin olduğunda sıfırdır (hiç sürpriz mümkün değildir).
Şekil, tek bir yanlı madeni paranın entropisini gösterir: H(p) = −p log₂ p − (1−p) log₂(1−p). p'yi sürükle: entropi p = 0.5'te zirve yapar (tam 1 bit, gerçek bir yazı tura atışı) ve kesin uçlarda 0'a düşer.