Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Gli iperparametri sono scelte di addestramento fissate al di fuori dei parametri appresi: learning rate, batch size, weight decay, lunghezza del warmup, dropout, larghezza del modello e molti altri.
La ricerca degli iperparametri è il processo di provare configurazioni senza illudersi. L'obiettivo non è trovare un'esecuzione fortunata. L'obiettivo è trovare un'impostazione che funzioni in modo affidabile sui dati di validazione.
I campioncini di vernice rendono concreta l'idea della ricerca. Non ridipingi tutta la stanza per ogni possibile colore. Provi un insieme strutturato di campioncini, restringi l'intervallo, poi provi le tonalità più promettenti sotto la luce giusta. La ricerca degli iperparametri restringe le scelte di addestramento allo stesso modo. La figura sotto mostra il meccanismo che valuta ogni campioncino: fold di validazione ruotati, così ogni impostazione candidata viene giudicata su dati su cui non si è mai addestrata. Quella valutazione onesta è ciò che distingue una ricerca da un'esecuzione fortunata.