Prawo wielkich liczb

Matematyka niepewności

Wyobraź sobie serię dziesięciu rzutów symetryczną monetą. Wyrzucenie 7 orłów może wydawać się całkiem prawdopodobne. Jeśli jednak rzucisz monetą dziesięć tysięcy razy, odsetek wyrzuconych orłów niewiarygodnie zbliży się do poziomu 0.5. To zjawisko określa się jako prawo wielkich liczb: w miarę zbierania większej ilości danych, średnia z próby zbiega do prawdziwej wartości oczekiwanej.

Losowość nie znika z układu, a pojedyncze rzuty pozostają nieprzewidywalne, ale średnia z wielu z nich się stabilizuje. Słabe prawo wielkich liczb mówi, że ta zbieżność zachodzi "według prawdopodobieństwa": dla dowolnej tolerancji błędu, szansa na to, że średnia przekroczy ten błąd, kurczy się do zera w miarę wzrostu n.

Naciśnij Uruchom na figurze, aby rzucać monetą po jednej sztuce i obserwować, jak średnia krocząca na początku dziko wędruje, a następnie zbliża się do przerywanej linii oznaczającej prawdziwą średnią. Więcej próbek oznacza ściślejszą zbieżność.

Gdzie to występuje w MLPrawo wielkich liczb sprawia, że uczenie z użyciem mini-batchy ma sens. Prawdziwy gradient jest wartością oczekiwaną w całym rozkładzie danych; gradient mini-batch to średnia z próbki. Zgodnie z prawem wielkich liczb, ta średnia przybliża prawdziwy gradient i staje się dokładniejsza przy większych partiach. Każda estymacja Monte Carlo w uczeniu maszynowym (np. oczekiwana nagroda, estymacja ELBO)…
▶ Prawo wielkich liczb
← Informacja wzajemnaCentralne Twierdzenie Graniczne →