Совместные распределения

Математика неопределённости

До сих пор каждая случайная величина жила одна. Но интересные вопросы — об отношениях: рост и вес, изображение и его метка. Совместное распределение p(x, y) даёт вероятность каждой пары значений сразу. Это полное описание того, как две (или более) переменные ведут себя вместе.

Для дискретных переменных представьте сетку: строки — значения X, столбцы — Y, каждая ячейка — вероятность комбинации. Все ячейки неотрицательны и сумма 1, аксиомы в двух измерениях. Для непрерывных — плотность f(x, y), вероятности — объёмы под 2D-поверхностью.

Представьте себе двумерную таблицу людей, отсортированных одновременно по росту и весу: низкий-и-легкий в одной ячейке, высокий-и-тяжелый в другой, и число в каждой ячейке, говорящее, насколько часто встречается такое сочетание. Вся эта сетка пар — это совместное распределение p(x, y) — оно описывает рост и вес вместе, а не по отдельности. Заполните каждую ячейку, сделайте их неотрицательными и чтобы в сумме они давали 1, и вы получите полную картину того, как эти два признака движутся вместе.

Где это встречается в MLОбучение с учителем — моделирование совместного p(x, y) входов и меток или его части. Генеративные модели учат полное совместное p(x, y) и могут синтезировать новые данные; дискриминативные учат только условное p(y | x), нужное для предсказания. Всё различие генеративное-дискриминативное — о том, какую часть совместного вы моделируете.
▶ Совместные распределения
← Многомерное гауссово распределениеМаргинальные распределения →