Funzioni Trigonometriche

Calcolo a una variabile dai primi principi

"Trigonometria" fa pensare ai triangoli, ma la versione che serve per l'ML è più pulita: si tratta di muoversi lungo un cerchio. Immagina un punto che percorre un cerchio di raggio 1 centrato nell'origine — il cerchio unitario. Mentre si muove, la sua ombra su ciascun asse traccia le due funzioni che contano.

Sia θ (theta) l'angolo che il punto ha descritto a partire dal semiasse x positivo. Allora, per definizione, il punto si trova in (cos θ, sin θ). Tutto qui: il coseno è la coordinata x, il seno è la coordinata y. Trascina il punto lungo il cerchio qui sotto e guarda cambiare entrambe le letture.

Da queste due, la tangente è semplicemente il loro rapporto, tan θ = sin θ / cos θ: la pendenza della retta del raggio.

Dove si trova nel MLLe funzioni periodiche sono il modo in cui i modelli rappresentano posizione e tempo. Le codifiche posizionali dei Transformer sono costruite con seni e coseni a molte frequenze, così la rete può distinguere i token in base a dove si trovano in una sequenza. Le rotazioni — che stanno alla base di tutto, dall'augmentation dei dati agli embedding rotazionali dell'attention (RoPE) — si esprimono con…
▶ Funzioni Trigonometriche
← Esponenziale e LogaritmoBreve: Spazi Vettoriali di Funzioni →