Varianz

Die Mathematik der Unsicherheit

Zwei Wetten können denselben Mittelwert haben und sich dennoch völlig unterschiedlich anfühlen: "+1 oder −1" gegenüber "+1000 oder −1000" — beide haben den Mittelwert 0, aber eine davon ist wild. Die Varianz misst genau diese Streuung, nämlich den durchschnittlichen quadratischen Abstand von X zu seinem Mittelwert μ = E[X]:

Das Quadrieren hält die Abweichungen positiv (damit sie sich nicht gegenseitig aufheben) und bestraft große Ausreißer stärker. Um wieder zu den ursprünglichen Einheiten zurückzukehren, zieht man die Quadratwurzel: die Standardabweichung σ = √Var(X).

In der Praxis geht die Kurzformel schneller, "der Mittelwert des Quadrats minus das Quadrat des Mittelwerts":

Wo das im ML vorkommtDie Varianz eines Gradientenschätzers bestimmt, wie verrauscht jeder Trainingsschritt ist. Ein Mini-Batch-Gradient ist der Durchschnitt der Gradienten der einzelnen Beispiele; nach Bienaymé teilt das Mitteln von n unabhängigen Schätzungen die Varianz durch n, sodass das Rauschen in der Standardabweichung wie 1/√n abnimmt. Genau deshalb liefern größere Batches glattere Schritte mit geringerer…
▶ Varianz
← ErwartungswertWichtige diskrete Verteilungen →