Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Hiperparametry to wybory treningowe ustalane poza wyuczonymi parametrami: współczynnik uczenia, rozmiar wsadu, zanik wag, długość rozgrzewki, dropout, szerokość modelu i wiele innych.
Przeszukiwanie hiperparametrów to proces wypróbowywania konfiguracji bez oszukiwania samego siebie. Celem nie jest znalezienie szczęśliwego przebiegu. Celem jest znalezienie ustawienia, które działa niezawodnie na danych walidacyjnych.
Karty z próbkami farby czynią ten pomysł konkretnym. Nie malujesz na nowo całego pokoju dla każdego możliwego koloru. Testujesz uporządkowany zestaw próbek, zawężasz zakres, a potem sprawdzasz najbardziej obiecujące odcienie w odpowiednim świetle. Przeszukiwanie hiperparametrów zawęża wybory treningowe w ten sam sposób. Poniższy rysunek pokazuje mechanizm, który ocenia każdą próbkę: rotujące podziały walidacyjne, dzięki czemu każde kandydujące ustawienie jest oceniane na danych, na których nigdy nie trenowało. Ta uczciwa ocena odróżnia przeszukiwanie od szczęśliwego przebiegu.