Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Spadek gradientowy na pełnym wsadzie wykorzystuje do każdej aktualizacji wszystkie przykłady treningowe; stochastyczny spadek gradientowy idzie w drugą skrajność i używa tylko jednego. Spadek gradientowy mini-wsadowy leży pośrodku, korzystając z małego wsadu, i to właśnie ten kompromis napędza głębokie uczenie w praktyce.
Gradient mini-wsadowy to zaszumione oszacowanie pełnego gradientu. Jest tańszy i często bardziej użyteczny niż dokładny pełny gradient, ponieważ daje wiele szybkich aktualizacji, a jego szum może wspomagać eksplorację.
Kontrola jakości płatków śniadaniowych korzysta z tego samego kompromisu. Otwarcie każdego pudełka jest dokładne, ale wolne. Sprawdzenie jednego pudełka jest zaszumione. Sprawdzenie tacy pudełek daje szybko użyteczne oszacowanie. Mini-wsady to właśnie takie tace. Rysunek poniżej pokazuje tę statystykę na żywo: naciśnij Uruchom i obserwuj, jak krocząca średnia stabilizuje się w miarę napływu kolejnych próbek. Gradient mini-wsadowy to obiekt tego samego rodzaju — średnia, która stabilizuje się w miarę wzrostu wsadu.