Škálování velikosti dávky

Jak se modely reálně učí, od klasického gradientního sestupu po Adam

Velikost dávky, označovaná B, mění šum v odhadech gradientu. Malá dávka poskytuje šumivý, ale výpočetně levný odhad. Velká dávka poskytuje stabilnější odhad, ale každá aktualizace stojí více.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Škálování velikosti dávky
← Smíšená přesnost a škálování ztrátyAkumulace gradientu →