Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Рельеф функции потерь — это форма L(θ) в пространстве параметров. Для нейронных сетей это высокоразмерная и невыпуклая поверхность: у неё есть широкие плоские участки, резко изогнутые участки, седловые точки, которые в одних направлениях поднимаются, а в других опускаются, и множество отдельных областей с низкой потерей, которые часто оказываются связанными между собой.
Реальный рельеф нельзя визуализировать напрямую, но можно рассуждать о локальной геометрии: градиенте, кривизне, шуме и о том, как разные оптимизаторы через них движутся.
Поле дюн после сильного ветра имеет широкие плоские участки, резкие гребни и тропы, которые с одной стороны кажутся ровными, а с другой — идут под уклон. У рельефа потерь та же особенность: локальная форма зависит от направления. Важнейшую такую форму можно построить прямо в фигуре ниже: подвиньте две кривизны так, чтобы одна стала положительной, а другая отрицательной. Это и есть седло — ровное вдоль одной линии и наклонное вдоль другой, и именно такой тип стационарной точки преобладает в высокоразмерных рельефах.