Гаусово (нормално) разпределение

Математиката на несигурността

Гаусовото (нормалното) разпределение се среща по-често от всяко друго в машинното обучение. Това е плавната, симетрична камбановидна крива, която получавате, когато се сумират множество малки независими ефекти. Две числа го определят напълно: математическото очакване (средната стойност) μ (където се намира върхът) и дисперсията σ² (която определя колко е широка камбаната).

Формулата има по-малко променливи части, отколкото изглежда. Ядрото ѝ е exp(−(x−μ)²/2σ²): разстоянието до средната стойност, повдигнато на квадрат и взето с отрицателен знак, така че плътността да намалява бързо, когато се отдалечавате от μ. Сложната дроб отпред е просто константа, която гарантира, че общата площ под кривата е точно 1.

Плъзгайте μ, за да премествате камбаната наляво и надясно, и σ, за да я разширите или стесните. Малко σ създава висок, остър пик (по-голяма сигурност); голямо σ разпределя плътността нашироко в голям диапазон.

Къде се използва това в MLОще първият контакт на една невронна мрежа с гаусово разпределение е преди изобщо да е започнало обучението: инициализацията на теглата тегли стойности от нормално разпределение, мащабирано според размера на слоя (He/Xavier инициализация). Моделите на шум често предполагат гаусови остатъци, което прави линейната регресия по метода на най-малките квадрати еквивалентна на оценката с максимално…
▶ Гаусово (нормално) разпределение
← Очакване и отклонение (непрекъснато)Ключови непрекъснати разпределения →