Hàm lượng giác

Tính toán một biến từ nguyên tắc đầu tiên

Lượng giác nghe có vẻ liên quan tới tam giác, nhưng phiên bản bạn cần cho ML lại rõ ràng hơn nhiều: đó là chuyện đi vòng quanh một đường tròn. Hãy hình dung một điểm chạy quanh một đường tròn bán kính 1 có tâm tại gốc tọa độ — đường tròn đơn vị. Khi nó di chuyển, hình chiếu của nó lên mỗi trục vẽ ra hai hàm quan trọng.

Gọi θ (theta) là góc mà điểm quét được tính từ chiều dương của trục x. Khi đó, theo định nghĩa, điểm nằm ở (cos θ, sin θ). Chỉ vậy thôi — cos là hoành độ, sin là tung độ. Hãy kéo điểm chạy quanh đường tròn bên dưới và xem cả hai số đọc thay đổi.

Từ hai hàm này, tang chỉ là tỉ số của chúng, tan θ = sin θ / cos θ — chính là hệ số góc của đường bán kính.

Vị trí của nó trong MLCác hàm tuần hoàn là cách các mô hình biểu diễn vị trí và thời gian. Mã hóa vị trí của Transformer được dựng từ sin và cos ở nhiều tần số khác nhau, nhờ đó mạng có thể phân biệt các token theo vị trí của chúng trong một chuỗi. Phép quay — nền tảng cho mọi thứ từ tăng cường dữ liệu cho tới nhúng vị trí dạng quay của cơ chế chú ý (RoPE) — được biểu diễn bằng đúng cos θ và sin θ trên đường tròn này.
▶ Hàm lượng giác
← Hàm mũ & logaritTóm lược: Không gian vectơ của các hàm số →