Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O treino em precisão mista usa formatos numéricos mais pequenos por velocidade e memória. Em vez de guardar cada cálculo em precisão total (os habituais floats de 32 bits), muitas operações usam float16 ou bfloat16: formatos de 16 bits que ocupam metade da memória em troca de menos precisão e, no caso do float16, de um intervalo mais estreito de tamanhos representáveis.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Precisão Mista e Escalonamento de Loss