Граници и непрекъснатост в Rⁿ — Смятане II

Върху числовата ос можете да се приближите до дадена точка само от две страни – отляво и отдясно. В равнината и в по-високи размерности можете да се приближите до дадена точка от безкрайно много посоки, по какъвто път желаете. Тази допълнителна свобода прави границите в Rⁿ значително по-трудни и този урок е по-скоро предупреждение, отколкото рецепта.

Дадена функция f има граница L в точка p само ако клони към едно и също L, независимо от пътя, по който се приближавате. Ако два различни пътя дават два различни резултата, границата просто не съществува.

Съгласявате се да се срещнете с приятел на фонтан в средата на площад. Можете да вървите към него от северния вход, източната уличка или всеки криволичещ диагонал през площада, но трябва да се озовете на същия фонтан. Граница в Rⁿ изисква точно това: функцията трябва да се насочва към една стойност, независимо кой път поемете навътре. Ако два подхода не са съгласни къде се приземяват, няма място за среща и границата не съществува.

Къде се използва това в MLОбучението, базирано на градиенти, работи, защото почти всяка функция в дълбокото обучение е непрекъсната: малка промяна в теглата води до малка промяна в загубата (loss), така че градиентът има смисъл. Добре известното изключение е ReLU, max(0, x), която е непрекъсната навсякъде, но има пречупване в 0, където производната скача. Гладкият пейзаж е именно регулярността, на която разчита…