독립 — 확률 · Mathematics for Machine Learning

두 사건이 독립이라는 것은, 한 사건을 알아도 다른 사건에 대해 아무것도 알 수 없다는 뜻입니다. 첫 동전이 앞면임을 알아도 둘째 동전의 확률은 바뀌지 않습니다. 형식적으로 독립이란 조건부 확률이 그냥 평범한 확률과 같다는 것, 즉 P(A|B) = P(A)이며, 이를 정리하면 깔끔한 판정식이 됩니다:

독립인 사건에 대해 둘 다 일어날 확률은 두 확률의 곱입니다. 그래서 공정한 동전을 n번 던져 모두 앞면이 나올 확률이 (1/2)ⁿ입니다. 던지기들이 서로 영향을 주고받지 않기 때문입니다.

공정한 동전은 기억력이 없습니다. 연속으로 5번 앞면이 나온 후에도 다음 동전 던지기는 여전히 50/50인데, 동전은 자신이 방금 무엇을 했는지 기억할 수 없기 때문입니다. 그 "기억 없음"이 정확히 독립성이며, 두 번의 동전 던지기가 함께 발생할 확률은 곱인 P(A ∩ B) = P(A) · P(B)가 됩니다. 또한 이것이 n개의 연속된 앞면이 (1/2)ⁿ의 확률을 갖는 이유이기도 합니다.

머신러닝에서의 위치레이블된 데이터셋으로 훈련할 때 우리는 거의 항상 예시들이 i.i.d., 즉 독립이고 동일하게 분포한다고 가정합니다. 이 가정 덕분에 데이터셋 전체의 결합 가능도가 곱 P(data) = Π P(xᵢ)으로 인수분해되고, 로그를 취하면 항들의 합(손실)이 됩니다. 나이브 베이즈 분류기는 여기서 한 걸음 더 나아가, 클래스가 주어졌을 때 특징들이 서로 조건부 독립이라고 가정합니다. 그러면 다루기 힘든 결합 분포를 단순한 곱으로 바꿀 수 있습니다.