Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Un laboratorio de optimizadores compara optimizadores bajo condiciones controladas. Ejecuta el mismo modelo, los mismos datos, tamaño de lote, presupuesto de programación y plan de semillas, y luego cambia el optimizador o un solo ajuste del optimizador.
Sin ese control, las comparaciones de optimizadores se convierten en historias. Una ejecución más rápida puede haber usado una mejor tasa de aprendizaje, una programación distinta, o una semilla más afortunada.
Un día de pruebas en un circuito tiene reglas para esto. Si comparas dos coches, mantienes la pista, los neumáticos, la carga de combustible y el clima lo más controlados posible. De lo contrario, no puedes saber si el coche era más rápido o las condiciones eran más fáciles. La figura de abajo es un banco de pruebas en miniatura: la misma superficie estirada en cada ejecución, con η, β y κ como tus variables. Cambia exactamente una, ejecuta, y compara trayectorias. Esa es toda la disciplina de esta lección en un solo widget.