Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Хиперпараметрите са настройки за обучението, зададени извън научените параметри: скорост на обучение, размер на партидата, отслабване на теглата, продължителност на загряването, dropout, ширина на модела и много други.
Търсенето на хиперпараметри е процес на изпробване на конфигурации, без да лъжете сами себе си. Целта не е да намерите щастлив ход. Целта е да намерите настройка, която работи надеждно върху валидационните данни.
Картончетата с бои за стени правят идеята за търсене конкретна. Не боядисвате цялата стая за всеки възможен цвят. Тествате структуриран набор от мостри, стеснявате обхвата, после изпробвате най-обещаващите нюанси при правилната светлина. Търсенето на хиперпараметри стеснява изборите за обучение по същия начин. Фигурата по-долу показва механизма, който оценява всяка мостра: въртящи се валидационни части, така че всяка кандидатстваща настройка се съди по данни, върху които никога не е обучавана. Точно тази честна оценка отличава истинското търсене от щастливия ход.