Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
A veces los parámetros no pueden moverse a cualquier lugar. Deben satisfacer restricciones: pesos no negativos, normas acotadas, probabilidades que deben permanecer no negativas y sumar 1 (un conjunto llamado el símplex de probabilidad), límites de equidad, límites de seguridad, o factibilidad física.
La optimización restringida significa minimizar la pérdida mientras se permanece dentro del conjunto permitido. Un método práctico es el descenso del gradiente proyectado: da un paso normal, y luego proyecta de vuelta al conjunto factible.
Una aspiradora robot con franjas de límite puede intentar atravesar una pared, pero el límite la obliga a volver a la habitación permitida. La optimización proyectada funciona de la misma manera. Un paso de gradiente puede apuntar hacia afuera, y entonces la proyección recorta el resultado de vuelta hacia la región factible. La figura de abajo muestra el corazón geométrico de la operación: arrastrar un punto hasta su representante más cercano en un conjunto permitido (allí, una línea). Proyectar sobre una caja o un símplex de probabilidad usa el mismo principio del punto más cercano con un conjunto permitido distinto.