Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
O clipping de gradiente limita o quão grande uma atualização pode se tornar. Se um batch produz um gradiente enorme, o clipping o reduz antes do passo do otimizador.
O clipping não corrige nem o objetivo nem os dados. Pense nele como uma regra de segurança: um batch extremo não deveria poder atirar os parâmetros para longe pela superfície da loss.
O regulador de velocidade de um elevador é a analogia. O elevador pode se mover normalmente, mas se começar a andar rápido demais, o regulador limita a velocidade antes que o movimento se torne perigoso. O clipping de gradiente deixa os gradientes normais passarem e limita os picos perigosos. A figura abaixo mostra o objeto sendo cortado: arraste o ponto pela tigela e observe a seta do gradiente esticar conforme a superfície fica mais íngreme. O clipping limita o comprimento dessa seta em c mantendo sua direção.