Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
El aprendizaje automático parece predicción, clasificación, generación, recomendación. Por debajo, es un mismo acto matemático que se repite: elegir números, medir qué tan mal están, y luego cambiar esos números para reducir ese mal desempeño. Eso es la optimización.
Esos números son los parámetros del modelo, normalmente reunidos en un solo vector enorme θ. La puntuación de qué tan mal está el modelo es la pérdida, escrita L(θ). Entrenar significa buscar en el espacio de parámetros un ajuste que haga esa pérdida pequeña. La notación abreviada de abajo dice exactamente eso: argmin devuelve la entrada ganadora (la θ que hace mínima la pérdida), no la puntuación ganadora, y el asterisco en θ⋆ la marca como ese mejor ajuste.
Un panel de riego de invernadero puede tener miles de pequeñas zonas de aspersión. Cada ajuste cambia cuán saludables se vuelven las plantas, pero solo ves la puntuación final del cultivo después de que el agua ha corrido. Una red neuronal es parecida: los parámetros son los ajustes de los aspersores, la pérdida es la puntuación del cultivo que quieres mejorar, y la optimización es la regla para cambiar muchos ajustes a la vez.