Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
O treinamento em precisão mista usa formatos numéricos menores para ganhar velocidade e memória. Em vez de armazenar todo cálculo em precisão total (o padrão de floats de 32 bits), muitas operações usam float16 ou bfloat16: formatos de 16 bits que ocupam metade da memória em troca de menos precisão e, no caso do float16, uma faixa mais estreita de tamanhos representáveis.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Precisão Mista & Escalonamento da Loss