Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Przycinanie gradientu ogranicza, jak duża może stać się aktualizacja. Jeśli wsad wyprodukuje ogromny gradient, przycinanie skaluje go w dół, zanim optymalizator wykona krok.
Przycinanie nie naprawia ani celu, ani danych. Traktuj je jak zasadę bezpieczeństwa: jeden skrajny wsad nie powinien mieć prawa przerzucić parametrów w inne miejsce powierzchni straty.
Analogią jest ogranicznik prędkości windy. Winda może poruszać się normalnie, ale gdy zaczyna jechać zbyt szybko, ogranicznik zmniejsza prędkość, zanim ruch stanie się niebezpieczny. Przycinanie gradientu przepuszcza normalne gradienty i ogranicza niebezpieczne skoki. Poniższy rysunek pokazuje przycinany obiekt: przeciągnij punkt po misie i obserwuj, jak strzałka gradientu wydłuża się w miarę stromienia powierzchni. Przycinanie ogranicza długość tej strzałki do c, zachowując jej kierunek.