Вектори и геометрия на Rⁿ

Многопроменливо смятане от първи принципи

Смятането с една променлива се случваше върху числовата ос. В машинното обучение обаче не е така. Теглата на невронната мрежа, вгражданията, градиентът – всяко от тях е точка в многомерно пространство Rⁿ. Добрата новина е, че геометрията, която познавате от двуизмерната равнина R², се пренася почти едно към едно. Векторът все още е стрелка, започваща от началото на координатната система; дължината, ъгълът и "сянката върху друг вектор" все още имат същия смисъл. Просто вече не можем да ги нарисуваме.

Векторът v = (v₁, v₂, …, vₙ) е подреден списък от числа. Можете да го тълкувате по два начина едновременно: като позиция (точката, в която се намирате) и като посока с дължина (стрелката, която ви отвежда дотам). И двете гледни точки са важни в машинното обучение.

Нормата (дължината) на вектор идва направо от Питагоровата теорема, просто има повече членове:

Къде се използва това в MLКогато един трансформър решава колко внимание да обърне даден токен на друг, той изчислява скаларното произведение на заявката и ключа, q·k. Това е същата операция, която стои зад класирането на най-близките съседи в пространството на вгражданията чрез косинусово сходство. Същата операция използва и линейният класификатор, за да определи от коя страна на w·x + b = 0 попада дадена точка. Голяма…
▶ Вектори и геометрия на Rⁿ
← Квадратични формиФункции f: Rⁿ → R →