Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
A paisagem da loss é a forma de L(θ) sobre o espaço de parâmetros. Para redes neurais ela é de alta dimensão e não convexa: tem trechos amplos e planos, trechos fortemente curvados, pontos de sela que sobem em algumas direções enquanto descem em outras, e muitas regiões separadas de baixa loss que muitas vezes acabam sendo conectadas.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ A Paisagem da Loss