Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Mixed-Precision-Training verwendet kleinere Zahlenformate für Geschwindigkeit und Speicher. Statt jede Berechnung in voller Genauigkeit zu speichern (Standard: 32-Bit-Fließkommazahlen), nutzen viele Operationen float16 oder bfloat16: 16-Bit-Formate, die nur halb so viel Speicher brauchen, dafür aber weniger Genauigkeit bieten und bei float16 einen engeren Bereich darstellbarer Größen haben.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Mixed Precision & Loss Scaling