Ключевые дискретные распределения — Вероятность

Горстка именованных распределений покрывает большинство дискретных ситуаций в ML. Каждое — готовая PMF с известными средним и дисперсией, так что берёте нужное, а не выводите с нуля.

Bernoulli(p) моделирует одно испытание с двумя исходами: успех (1) с вероятностью p, неудача (0) с 1−p. Это строительный блок, из которого состоят все остальные дискретные распределения.

Два повседневных подсчета демонстрируют главные распределения. Подбросьте монету 10 раз и посчитайте количество орлов: это количество имеет биномиальное распределение, сумму 10 независимых испытаний типа да/нет. Теперь посчитайте телефонные звонки, которые служба поддержки получает за один час: это количество имеет распределение Пуассона, закон для редких событий, разбросанных во времени, с единственным параметром интенсивности λ, который выступает одновременно как его математическое ожидание и его дисперсия.

Где это встречается в MLВыбирая функцию потерь классификации, вы на деле выбираете одно из этих распределений. Бинарная кросс-энтропия — отрицательное лог-правдоподобие Bernoulli: оценивает одну вероятность модели против метки 0/1. Многоклассовая кросс-энтропия — отрицательное лог-правдоподобие Categorical, выход softmax против one-hot метки. Выбранная потеря кодирует, какое распределение вы предполагаете у меток.