Recorte de Gradiente

Como os modelos realmente aprendem, do gradiente descendente simples ao Adam

O recorte de gradiente limita o quão grande uma atualização pode tornar-se. Se um batch produzir um gradiente enorme, o recorte reduz a sua escala antes do passo do otimizador.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Recorte de Gradiente
← Diagnóstico do OtimizadorAdam vs AdamW →