Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O recorte de gradiente limita o quão grande uma atualização pode tornar-se. Se um batch produzir um gradiente enorme, o recorte reduz a sua escala antes do passo do otimizador.
O recorte não corrige o objetivo nem os dados. Pensa nele como uma regra de segurança: um único batch extremo não deve poder atirar os parâmetros para o outro lado da superfície de loss.
Um regulador de velocidade de elevador é a analogia. O elevador pode mover-se normalmente, mas se começar a andar demasiado depressa, o regulador limita a velocidade antes de o movimento se tornar perigoso. O recorte de gradiente deixa passar os gradientes normais e limita os picos perigosos. A figura abaixo mostra o objeto a ser recortado: arrasta o ponto à volta da tigela e observa a seta do gradiente a esticar-se à medida que a superfície fica mais íngreme. O recorte limita o comprimento dessa seta a c mantendo a sua direção.