Функции f: Rⁿ → R — Математический анализ II

Функция f: Rⁿ → R принимает вектор и возвращает одно число. Пример, движущий машинным обучением, — потеря: подайте все веса сети, получите одно число, говорящее, насколько плохо она работает. Всё обучение — поиск низшей точки этой функции.

Для двух входов можно представить: z = f(x, y) — поверхность, ландшафт холмов и долин над xy-плоскостью. Высота в каждой (x, y) — значение функции.

Представьте себе воздух в комнате: встаньте в любом месте, и термометр покажет ровно одну температуру. Это скрытая функция f: R² → R: позиция (x, y) входит, и выходит одно число (тепло в этой точке). Вся комната становится ландшафтом из теплых и прохладных участков: выше возле батареи, ниже у окна.

Где это встречается в MLКогда вы смотрите, как кривая потерь спускается во время обучения, вы наблюдаете прогулку по одной из этих поверхностей. Потеря L(w₁, …, wₙ) — функция Rⁿ → R над пространством весов, с n в миллионах или миллиардах, а кривая на экране — лишь одномерная тень той прогулки. Картинки «плоские против острых минимумов», о которых спорят исследователи, — буквально карты изолиний и поверхности этой же f.