Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Mixed-precision-training gebruikt kleinere getalformaten voor snelheid en geheugen. In plaats van elke berekening in volledige precisie op te slaan (standaard 32-bits floats), gebruiken veel bewerkingen float16 of bfloat16: 16-bits formaten die de helft van het geheugen kosten in ruil voor minder precisie en, voor float16, een smaller bereik van weer te geven groottes.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Mixed Precision & Loss Scaling