Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
A paisagem da loss é a forma de L(θ) sobre o espaço de parâmetros. Para redes neuronais é de alta dimensão e não-convexa: tem largos trechos planos, outros acentuadamente curvos, pontos de sela que sobem nalgumas direções enquanto descem noutras, e muitas regiões separadas de baixa loss que frequentemente acabam por estar ligadas.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ A Paisagem da Loss