Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Los hiperparámetros son decisiones de entrenamiento que se fijan fuera de los parámetros aprendidos: la tasa de aprendizaje, el tamaño de lote, la decadencia de pesos, la duración del calentamiento, el dropout, el ancho del modelo, y muchos otros.
La búsqueda de hiperparámetros es el proceso de probar configuraciones sin engañarte a ti mismo. El objetivo no es encontrar una ejecución afortunada. El objetivo es encontrar un ajuste que funcione de forma fiable en los datos de validación.
Las cartillas de muestras de pintura hacen concreta la idea de la búsqueda. No repintas toda la habitación para cada color posible. Pruebas un conjunto estructurado de muestras, reduces el rango, y luego pruebas los tonos más prometedores bajo la luz adecuada. La búsqueda de hiperparámetros reduce las decisiones de entrenamiento de la misma manera. La figura de abajo muestra la maquinaria que puntúa cada muestra: pliegues de validación rotativos, de modo que cada ajuste candidato se juzga con datos con los que nunca entrenó. Esa puntuación honesta es lo que separa una búsqueda de una ejecución afortunada.