Функции f: Rⁿ → R — Смятане II · Mathematics for Machine Learning

Функция f: Rⁿ → R приема вектор и връща едно число. Примерът, който движи машинното обучение, е функцията на загубата (loss): подайте всяко тегло на мрежата и тя ще върне едно число, което показва колко зле се справя моделът. Цялото обучение представлява търсене на най-ниската точка на тази функция.

За два входа всъщност можете да си го представите: z = f(x, y) е повърхност – пейзаж от хълмове и долини, разположен над xy-равнината. Височината във всяка точка (x, y) съответства на стойността на функцията.

Представете си въздуха в една стая: застанете на което и да е място и термометърът отчита точно една температура. Това е скрита функция f: R² → R: въвежда се позиция (x, y) и се получава едно число (топлината там). Цялата стая се превръща в пейзаж от топли и хладни зони, по-висока близо до радиатора, по-ниска до прозореца.

Къде се използва това в MLКогато гледате как кривата на загубата върви надолу по време на обучението, наблюдавате разходка по една от тези повърхности. Загубата L(w₁, …, wₙ) е функция Rⁿ → R върху пространството на теглата, където n е в милиони или милиарди, а кривата на екрана е само едноизмерна сянка на тази разходка. Картинките с „плоски срещу остри минимуми“, за които изследователите спорят, са буквално контурни и…