Проекции

Геометрия и алгебра на линейни приложения, вектори и матрици

Проекцията отговаря на въпроса: „Коя е най-близката до b точка, която лежи в дадено подпространство?“ Представете си точка, която левитира над пода: нейната проекция е точката на пода точно под нея — петата на перпендикуляра. Това е най-доброто приближение на b, което може да бъде намерено в това подпространство.

За да проектирате вектор b върху дадено направление a, трябва да мащабирате a с частта от b, която лежи по протежението му (определена чрез скаларното произведение), нормализирана спрямо квадрата на дължината на самото a:

Движете b по фигурата и наблюдавайте как сянката му се плъзга по правата a, винаги приземявайки се в най-близката точка, като пунктираната линия на грешката сключва прав ъгъл с правата.

Къде се използва това в MLПроекциите са в основата на геометрията зад механизма на вниманието (attention) и остатъчните потоци (residual streams). Регресията по най-малки квадрати проектира целевите стойности върху пространството от колони на модела. Остатъчният поток в един трансформатор (Transformer) многократно се чете и модифицира чрез проекции, а ортогонализация в стил Грам-Шмид помага на научените направления да…
▶ Проекции
← Матрични нормиКвадратични форми →