Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Диагностиката на оптимизатора означава да прочетете хода на обучението, преди да промените рецептата за обучение. Кривата на загубата, нормата на градиента и кривата на валидацията обикновено ви казват дали проблемът е в размера на стъпката, данните, мащаба, преобучаването или в истинско ограничение на модела.
Това не е гадаене. Всеки модел на провал има характерна форма: експлодираща загуба, плоска загуба, шумна, но подобряваща се загуба, тренировъчна загуба, която пада, докато валидационната се покачва, или внезапни стойности NaN.
Тест лентичките за аквариум дават полезна представа. Не оправяте мътната вода, като изсипвате случайни химикали. Първо тествате pH, амоняк и нитрати, а после третирате показанието, което наистина е лошо. Диагностиката на оптимизатора прави същото за обучението: първо измерете, после сменете нещото, към което сочи измерването. Използвайте фигурата, за да настроите окото си. Пуснете я веднъж за здравословно спускане, после завъртете η нагоре и възпроизведете нестабилния, подскачащ модел при поискване.