Cum învață de fapt modelele, de la coborârea pe gradient standard la Adam
Antrenarea cu precizie mixtă folosește formate numerice mai mici pentru viteză și memorie. În loc să stocheze fiecare calcul în precizie completă (floats standard pe 32 de biți), multe operații folosesc float16 sau bfloat16: formate pe 16 biți care ocupă jumătate din memorie în schimbul unei precizii mai mici și, pentru float16, a unei game mai restrânse de dimensiuni reprezentabile.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Precizie mixtă și scalarea pierderii