핵심 이산 분포 — 확률 · Mathematics for Machine Learning

이름이 붙은 몇 가지 분포만으로도 ML에서 마주치는 이산 상황의 대부분을 다룰 수 있습니다. 각 분포는 평균과 분산이 이미 알려진, 곧바로 쓸 수 있는 PMF를 갖추고 있어, 매번 처음부터 유도하는 대신 알맞은 것을 골라 쓰면 됩니다.

Bernoulli(p)는 결과가 두 가지뿐인 한 번의 시행을 나타냅니다. 확률 p로 성공(1), 확률 1−p로 실패(0)입니다. 다른 모든 이산 분포가 여기서 만들어지는 기본 구성 요소입니다.

매일 일어나는 두 가지 집계는 대표적인 분포를 보여줍니다. 동전을 10번 던져 앞면을 세어 보세요. 이 집계는 독립적인 10번의 예/아니오 시도의 합인 이항 분포입니다. 이제 헬프 데스크가 한 시간 동안 받는 전화 통화 횟수를 세어 보세요. 이 집계는 시간에 걸쳐 뿌려진 드문 사건의 법칙인 푸아송 분포로, 단일 발생률 λ가 평균과 분산 모두의 역할을 합니다.

머신러닝에서의 위치분류 손실을 고르는 일은 사실상 이 분포들 가운데 하나를 고르는 일입니다. 이진 교차 엔트로피는 베르누이의 음의 로그 가능도로, 모델이 내놓은 하나의 확률을 0/1 레이블에 비추어 채점합니다. 다중 클래스 교차 엔트로피는 Categorical의 음의 로그 가능도로, softmax 출력을 원-핫 레이블에 비추어 채점합니다. 어떤 손실을 고르느냐가 곧 레이블이 따른다고 가정하는 분포를 부호화하는 셈입니다.