Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Laboratorium optymalizatorów porównuje optymalizatory w kontrolowanych warunkach. Uruchom ten sam model, dane, rozmiar wsadu, budżet harmonogramu i plan ziaren losowości, a potem zmień optymalizator albo jedno jego ustawienie.
Bez takiej kontroli porównania optymalizatorów stają się opowiastkami. Szybszy przebieg mógł po prostu użyć lepszego współczynnika uczenia, innego harmonogramu albo szczęśliwszego ziarna losowości.
Dzień testowy na torze wyścigowym ma na to swoje reguły. Porównując dwa samochody, starasz się zachować jak najbardziej kontrolowane tor, opony, ilość paliwa i pogodę. W przeciwnym razie nie wiadomo, czy samochód był szybszy, czy warunki łatwiejsze. Poniższy rysunek to miniaturowe stanowisko laboratoryjne: ta sama wydłużona powierzchnia w każdym przebiegu, z η, β i κ jako twoimi zmiennymi. Zmień dokładnie jedną, uruchom i porównaj ścieżki. To cała dyscyplina tej lekcji zamknięta w jednym widżecie.