Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Выпуклая потеря даёт мощную гарантию: каждый локальный минимум является глобальным. Это делает оптимизацию концептуально чистой. Многие классические целевые функции в ML выпуклы; глубокие сети обычно нет.
Выпуклость всё равно стоит изучать, потому что она даёт эталонный случай. Она показывает, как выглядела бы оптимизация, если бы не было ни плохих локальных ловушек, ни осложнений от седловых точек, ни резких сюрпризов рельефа.
У спутниковой тарелки есть одно чистое направление наведения, когда поверхность сигнала гладкая и имеет один пик. У мятой фольги много крошечных блестящих граней, каждая из которых может локально поймать свет. Выпуклая оптимизация ближе к тарелке; обучение глубокой сети ближе к фольге. Фигура ниже показывает определяющий тест на выпуклой кривой: подвиньте две конечные точки и заметьте, что прямая хорда между ними никогда не опускается ниже кривой.