Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Spadek gradientowy zachowuje się zupełnie inaczej na okrągłej powierzchni straty niż na rozciągniętej. Uwarunkowanie mierzy właśnie to rozciągnięcie. Słabe uwarunkowanie sprawia, że optymalizator porusza się zygzakiem: jeden kierunek jest stromy, drugi płaski.
Dla straty kwadratowej uwarunkowanie zależy od wartości własnych hesjanu. Liczba uwarunkowania κ to stosunek największej krzywizny do najmniejszej.
W flipperze z ciasno ustawionymi bandami bocznymi i długim, wąskim torem wyjściowym mocne uderzenie sprawia, że kulka rykoszetuje z boku na bok, a do przodu porusza się tylko powoli. Słabe uwarunkowanie robi to samo ze spadkiem gradientowym: odbija się w kierunku stromym i pełznie w kierunku płaskim. Rysunek poniżej to dokładnie ten flipper. Przesuń κ, by rozciągnąć misę, uruchom spadek i obserwuj, jak ścieżka rykoszetuje w poprzek wąskiego kierunku, a wzdłuż długiego posuwa się o milimetry. (Zostaw na razie β na 0; ten parametr gra główną rolę w lekcji o pędzie.)