Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
A aprendizagem automática parece previsão, classificação, geração, recomendação. Por trás disso é um único ato matemático repetido: escolher números, medir quão maus eles são, depois mudar os números para tornar essa maldade menor. Isso é otimização.
Os números são os parâmetros do modelo, normalmente reunidos num único vetor enorme θ. A pontuação de maldade é a loss, escrita L(θ). Treinar significa procurar no espaço dos parâmetros uma configuração que torne essa loss pequena. O atalho abaixo diz exatamente isso: argmin devolve a entrada vencedora (o θ que torna a loss mínima), não a pontuação vencedora, e a estrela em θ⋆ assinala-o como essa melhor configuração.
Um painel de rega de estufa pode ter milhares de pequenas zonas de aspersores. Cada afinação muda a saúde das plantas, mas só vês a pontuação final da colheita depois de a água ter corrido. Uma rede neuronal é parecida: os parâmetros são as afinações dos aspersores, a loss é a pontuação da colheita que queres melhorar, e a otimização é a regra para mudar muitas afinações em conjunto.