Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Un buscador de la tasa de aprendizaje es una ejecución diagnóstica corta. Empieza con una tasa de aprendizaje diminuta, auméntala a lo largo de muchos mini-lotes, y observa cómo responde la pérdida.
Aquí no estás intentando terminar el entrenamiento; estás buscando el rango donde el modelo empieza a aprender antes de que la pérdida se vuelva inestable.
El horquillado de exposición en fotografía usa la misma idea. Tomas una secuencia de fotos, de demasiado oscuras a demasiado claras, y luego eliges el rango donde el detalle se ve nítido. El buscador hace lo mismo con los pasos de entrenamiento: barre η de tímido a temerario y marca dónde el aprendizaje se vuelve nítido. Puedes representar un buscador manual en la figura de abajo: ejecuta con un η pequeño, súbelo un poco, ejecuta de nuevo. En algún punto el deslizamiento suave se convierte en sobrepaso y rebote, y ese es el borde de explosión que busca el barrido.