Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Rozmiar wsadu, zapisywany jako B, zmienia szum w oszacowaniach gradientu. Mały wsad daje zaszumione, ale tanie oszacowanie. Duży wsad daje stabilniejsze oszacowanie, ale każda aktualizacja kosztuje więcej.
Gdy zmienia się rozmiar wsadu, najlepszy współczynnik uczenia często zmienia się razem z nim. Duże wsady mogą czasem znieść większe współczynniki uczenia, ale zwykle wymagają rozgrzewki i starannej walidacji.
Sondaż wyjściowy działa tak samo. Zapytanie pięciu wyborców daje zaszumione przypuszczenie. Zapytanie pięciu tysięcy wyborców daje stabilniejsze oszacowanie, ale wymaga więcej pracy. Rozmiar wsadu to wielkość sondażu dla gradientu. Ten efekt stabilizacji dokładnie pokazuje rysunek: naciśnij uruchom i obserwuj, jak średnia krocząca rzutów monetą uspokaja się wraz ze wzrostem n. Zamień monety na gradienty pojedynczych przykładów, a n na B, i masz całą historię rozmiaru wsadu.