Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Gradiëntclipping beperkt hoe groot een update kan worden. Als een batch een enorme gradiënt oplevert, schaalt clipping die omlaag voordat de optimizer-stap plaatsvindt.
Clipping repareert noch het doel, noch de data. Zie het als een veiligheidsregel: één extreme batch mag de parameters niet dwars over het verliesoppervlak slingeren.
De snelheidsregelaar van een lift is de analogie. De lift kan normaal bewegen, maar als hij te snel begint te gaan, beperkt de regelaar de snelheid voordat de beweging gevaarlijk wordt. Gradiëntclipping laat normale gradiënten door en beperkt de gevaarlijke pieken. De figuur hieronder toont het object dat geclipt wordt: sleep het punt door de kom en kijk hoe de gradiëntpijl uitrekt naarmate het oppervlak steiler wordt. Clipping begrenst de lengte van die pijl op c terwijl de richting behouden blijft.