베이즈 정리 — 확률 · Mathematics for Machine Learning

우리는 종종 한 방향의 조건부 확률은 알지만 정작 원하는 것은 그 반대 방향입니다. 의료 검사는 P(positive | disease)을 알려 주지만, 환자가 정말 알고 싶은 것은 P(disease | positive)입니다. 베이즈 정리는 바로 이 조건부 확률을 뒤집어 주는 다리입니다.

이 정리는 지난 강의에서 곧바로 따라 나옵니다. 곱셈 규칙은 P(A∩B)를 두 가지 방식, 즉 P(A|B)P(B)와 P(B|A)P(A)로 표현합니다. 이 둘을 같다고 놓고 P(B)로 나누면 됩니다. 세 부분의 이름은 ML 어디에서나 등장합니다. P(A)는 사전 확률(증거를 보기 전의 믿음), P(B|A)는 가능도(A가 증거를 얼마나 잘 설명하는가), P(A|B)는 사후 확률(갱신된 믿음)입니다.

분모의 P(B)는 보통 B가 일어날 수 있는 모든 경로로 나누어 계산하며, 이것을 전체 확률의 법칙이라고 합니다:

머신러닝에서의 위치베이즈 정리는 확률적 ML의 엔진입니다. 베이지안 추론은 매개변수에 대한 사전 분포를 데이터로 갱신하여 사후 분포로 바꿉니다: P(θ | data) ∝ P(data | θ)·P(θ). 최대 가능도 훈련은 사전 분포가 평평한 특수한 경우이며, 사전 분포를 더하는 것은 L2 정규화가 하는 일과 정확히 같습니다(가중치에 대한 가우시안 사전). 베이지안 신경망의 «사후 예측» 전체가 바로 이 공식을 대규모로 적용한 것입니다.