Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Diagnostyka optymalizatora oznacza odczytanie przebiegu treningu, zanim zmienisz przepis treningowy. Krzywa straty, norma gradientu i krzywa walidacyjna zwykle mówią, czy problemem jest rozmiar kroku, dane, skala, przeuczenie, czy rzeczywiste ograniczenie samego modelu.
To nie zgadywanie. Każdy wzorzec awarii ma typowy kształt: eksplodująca strata, płaska strata, zaszumiona, ale poprawiająca się strata, strata treningowa spadająca przy rosnącej stracie walidacyjnej, albo nagłe wartości NaN.
Dobry obraz daje analogia z paskami testowymi do akwarium. Mętnej wody nie naprawiasz, wlewając na chybił trafił przypadkowe chemikalia. Najpierw testujesz pH, amoniak i azotany, a dopiero potem leczysz odczyt, który rzeczywiście jest zły. Diagnostyka optymalizatora robi to samo z treningiem: najpierw zmierz, potem zmień to, na co wskazuje pomiar. Użyj rysunku, aby wyćwiczyć oko. Uruchom go raz dla zdrowego zejścia, a potem podkręć η i na żądanie odtwórz niestabilny, skaczący wzorzec.