Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Machine learning parece previsão, classificação, geração, recomendação. Por baixo do capô é um único ato matemático repetido: escolher números, medir o quanto eles são ruins, depois mudar os números para tornar essa maldade menor. Isso é otimização.
Os números são os parâmetros do modelo, normalmente reunidos num único vetor enorme θ. O escore de maldade é a loss, escrita L(θ). Treinar significa vasculhar o espaço de parâmetros em busca de uma configuração que torne essa loss pequena. A notação abaixo diz exatamente isso: argmin devolve a entrada vencedora (o θ que torna a loss menor), não o escore vencedor, e a estrela em θ⋆ marca isso como a melhor configuração.
Um painel de irrigação de estufa pode ter milhares de pequenas zonas de aspersores. Cada ajuste muda o quão saudáveis as plantas ficam, mas você só vê o escore final da colheita depois que a água já correu. Uma rede neural é parecida: os parâmetros são os ajustes dos aspersores, a loss é o escore de colheita que você quer melhorar, e a otimização é a regra para mudar muitos ajustes ao mesmo tempo.