Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Лабораторията на оптимизатора сравнява оптимизатори при контролирани условия. Пуснете един и същ модел, данни, размер на партидата, бюджет за графика и план за seed, а после сменете оптимизатора или една настройка на оптимизатора.
Без този контрол сравненията на оптимизатори се превръщат в истории. По-бързият ход може да е използвал по-добра скорост на обучение, различен график или по-щастлив seed.
Тестовият ден на състезателна писта има правила за това. Ако сравнявате два автомобила, поддържате пистата, гумите, количеството гориво и времето възможно най-контролирани. Иначе не можете да кажете дали колата е била по-бърза, или условията са били по-лесни. Фигурата по-долу е миниатюрен лабораторен тезгях: една и съща изпъната повърхнина при всеки ход, с η, β и κ като ваши променливи. Сменете точно едната, пуснете и сравнете пътищата. Това е цялата дисциплина на този урок в едно устройство.