Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Diagnóstico do otimizador significa ler a execução de treinamento antes de mudar a receita de treinamento. Uma curva de loss, uma norma de gradiente e uma curva de validação geralmente dizem se o problema é o tamanho do passo, os dados, a escala, o overfitting ou uma limitação real do modelo.
Isso não é chute. Cada padrão de falha tem uma forma típica: loss explodindo, loss estagnada, loss ruidosa mas melhorando, loss de treino caindo enquanto a loss de validação sobe, ou valores NaN repentinos.
As fitas de teste de aquário dão uma boa imagem disso. Você não corrige a água turva despejando produtos químicos ao acaso. Primeiro testa o pH, a amônia e o nitrato, depois trata a leitura que realmente está ruim. O diagnóstico do otimizador faz o mesmo para o treinamento: meça primeiro, depois mude aquilo que a medição apontou. Use a figura para calibrar o olho. Rode uma vez para uma descida saudável, depois aumente η e reproduza sob demanda o padrão instável e saltitante.