Скаларно произведение

Геометрия и алгебра на линейни приложения, вектори и матрици

Скаларното произведение взема два вектора и връща едно число. Рецептата е проста: умножете съответните компоненти и сумирайте резултатите. Тази проста аритметика има дълбок геометричен смисъл. Скаларното произведение измерва доколко двете стрелки сочат в една и съща посока.

Дясната форма е тази, на която трябва да обърнете повече внимание. |a| и |b| са дължините, а θ е ъгълът между стрелките. Знакът на скаларното произведение разкрива геометрията мигновено: положителен означава, че стрелките сочат приблизително в една и съща посока (θ < 90°), отрицателен означава, че сочат в противоположни посоки (θ > 90°), а точно нула означава, че са перпендикулярни. Този последен случай ще срещаме отново и отново.

Представете си, че бутате пазарска количка, докато духа вятър. Скаларното произведение на вашето бутане и вятъра ви показва колко са подравнени двете стрелки: то е голямо и positive, когато вятърът ви помага, zero, когато вятърът духа право през пътя ви и не върши работа, и отрицателно, когато ви блъска обратно. Четено като оценка за сходство, по-голямо скаларно произведение просто означава, че "тези две стрелки си съвпадат повече".

Къде се използва това в MLКогато един трансформър (Transformer) решава на кой предходен токен да обърне внимание (attention), той изчислява скаларно произведение. Оценката (score) е q · k между вектор-заявка (query) и вектор-ключ (key): тя е висока, когато те сочат в една и съща посока, което означава, че „този токен е релевантен за онзи“. Косинусовото сходство представлява същата идея, но с разделяне на дължините. То…
▶ Скаларно произведение
← Вектори в RⁿНорми →