Скалярное произведение

Геометрия и алгебра линейных отображений, векторов и матриц

Скалярное произведение берёт два вектора и возвращает одно число. Рецепт прост: перемножьте соответствующие компоненты и сложите результаты. За этой простой арифметикой стоит геометрический смысл. Скалярное произведение измеряет, насколько две стрелки указывают в одну сторону.

Правая форма — та, на которую стоит опираться. |a| и |b| — длины, θ — угол между стрелками. Знак скалярного произведения мгновенно читает геометрию: положительный означает, что стрелки наклонены в одну сторону (θ < 90°), отрицательный — противоположны (θ > 90°), и ровно ноль — перпендикулярны. Последний случай встречается снова и снова.

Представьте, что вы толкаете тележку для покупок, когда дует ветер. Скалярное произведение вашего толчка и ветра говорит вам, насколько выровнены эти две стрелки: оно велико и positive, когда ветер помогает вам двигаться вперед, равно zero, когда ветер дует прямо поперек вашего пути, не совершая работы, и отрицательно, когда он толкает вас назад. Если рассматривать это как оценку сходства, то большее скалярное произведение просто означает «эти две стрелки больше согласуются».

Где это встречается в MLКогда трансформер решает, какой более ранний токен посещать, он вычисляет скалярное произведение. Оценка внимания — это q · k между вектором запроса и ключа: высокая, когда они указывают в одну сторону, означая «этот токен релевантен тому». Косинусное сходство — та же идея с убранными длинами. Оно ранжирует, насколько похожи два эмбеддинга вне зависимости от величины — так поиск и рекомендации…
▶ Скалярное произведение
← Векторы в RⁿНормы →