Энтропия

Математика неопределённости

Энтропия измеряет неопределённость: насколько вы ожидаете быть удивлены случайным исходом. Честная монета максимально неопределённа; двусторонняя — ноль сюрприза. Клод Шеннон превратил это в число — ожидаемое удивление, где сюрприз редкого события −log p(x) (реже — удивительнее).

Используя log₂, энтропия в битах — среднее число вопросов да/нет для определения исхода. Энтропия наибольшая при равномерном распределении (все исходы равновероятны, максимум путаницы) и ноль, когда один исход достоверен (сюрприза нет).

Фигура показывает энтропию одной смещённой монеты, H(p) = −p log₂ p − (1−p) log₂(1−p). Тяните p: пик при p = 0.5 (1 полный бит, настоящий бросок), падение до 0 на достоверных концах.

Где это встречается в MLЭнтропия — родитель почти каждой функции потерь классификации. Она задаёт нижнюю границу сжатия без потерь и закрепляет кросс-энтропию (следующий урок), стандартную потерю обучения. В RL и исследовании бонус энтропии добавляется к цели, чтобы политика не коллапсировала слишком рано: максимизация энтропии значит «оставайся неопределённым, продолжай исследовать». Деревья решений делят по признаку,…
▶ Энтропия
← Ковариация и корреляцияКросс-энтропия →