Математика неопределённости
Энтропия измеряет неопределённость: насколько вы ожидаете быть удивлены случайным исходом. Честная монета максимально неопределённа; двусторонняя — ноль сюрприза. Клод Шеннон превратил это в число — ожидаемое удивление, где сюрприз редкого события −log p(x) (реже — удивительнее).
Используя log₂, энтропия в битах — среднее число вопросов да/нет для определения исхода. Энтропия наибольшая при равномерном распределении (все исходы равновероятны, максимум путаницы) и ноль, когда один исход достоверен (сюрприза нет).
Фигура показывает энтропию одной смещённой монеты, H(p) = −p log₂ p − (1−p) log₂(1−p). Тяните p: пик при p = 0.5 (1 полный бит, настоящий бросок), падение до 0 на достоверных концах.