三角関数
第一原理からの1変数微分積分
三角法は三角形のように聞こえますが、MLに必要な版はより簡潔です:円の周りを回ることです。原点を中心とする半径1の円 — 単位円 — の周りを点が旅すると想像してください。動くにつれて、各軸への影が重要な2つの関数をなぞります。
θ(シータ)を正のx軸から点が掃いた角とします。定義により点は(cos θ, sin θ)にあります。それだけ — cosがx座標、sinがy座標です。下の円で点をドラッグし、両方の読み取り値が変わる様子を見てください。
これら2つから、タンジェントは単なる比で、tan θ = sin θ / cos θ — 動径の傾きです。
機械学習における位置づけ周期関数はモデルが位置と時間を表現する方法です。Transformerの位置エンコーディングは多数の周波数のsinとcosから作られ、ネットワークがトークンをシーケンス内の位置で区別できます。回転 — データ拡張からアテンションの回転埋め込み(RoPE)まですべてを動かす — はまさにこの円上のcos θとsin θで表現されます。
▶ 三角関数