三角函数
从第一性原理出发的单变量微积分
三角函数听起来像是在讲三角形,但机器学习需要的版本更干净:它讲的是绕圆运动。想象一个点围绕以原点为中心、半径为 1 的圆运动——这就是单位圆。当它移动时,它在两个坐标轴上的投影会描出最重要的两个函数。
令 θ(theta)表示这个点从 x 轴正方向扫过的角度。按定义,这个点位于 (cos θ, sin θ)。就这么简单——cos 是 x 坐标,sin 是 y 坐标。拖动下面圆上的点,观察两个读数如何变化。
由这两个函数得到的正切只是它们的比值,tan θ = sin θ / cos θ——也就是半径线的斜率。
在机器学习中的应用周期函数是模型表示位置和时间的方式。Transformer 的位置编码由许多频率的正弦和余弦构成,让网络能区分序列中 token 的位置。旋转——从数据增强到注意力中的旋转位置嵌入(RoPE)都依赖它——正是用这个圆上的 cos θ 和 sin θ 表示的。
▶ 三角函数