Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O diagnóstico do otimizador significa ler a execução de treino antes de mudar a receita de treino. Uma curva de loss, uma norma de gradiente e uma curva de validação normalmente dizem-te se o problema é o tamanho do passo, os dados, a escala, o overfitting ou uma limitação real do modelo.
Isto não é adivinhação. Cada padrão de falha tem uma forma típica: loss a explodir, loss estagnada, loss ruidosa mas a melhorar, loss de treino a cair enquanto a loss de validação sobe, ou valores NaN repentinos.
As tiras de teste de aquário dão uma boa imagem disto. Não corriges água turva despejando químicos ao calhas. Primeiro testas o pH, a amónia e o nitrato, depois tratas a leitura que está mesmo mal. O diagnóstico do otimizador faz o mesmo com o treino: mede primeiro, depois muda aquilo que a medição aponta. Usa a figura para calibrar o olho. Corre-a uma vez para uma descida saudável, depois sobe η e reproduz à vontade o padrão instável e saltitante.