旋转位置编码数学原理：复数域旋转矩阵推导，二维空间旋转的直观理解

好，咱们接着聊。上一章我讲了为什么位置编码是Transformer的刚需，这一章咱们直接啃硬骨头——旋转位置编码（RoPE）的数学原理。

说实话，我第一次看RoPE论文时，也被那一堆复数、旋转矩阵搞得有点晕。但后来我在项目中亲手实现了一遍，发现这东西其实特别优雅。说白了，它就是把「位置信息」巧妙地藏进了向量的旋转角度里。

从二维空间旋转说起

咱们先别急着上高维，从最简单的二维开始。你想想看，二维平面里一个点 (x, y)，如果让它绕原点逆时针转 θ 角度，新坐标怎么算？

这个公式我相信你高中就见过：

新x = x·cosθ - y·sinθ
新y = x·sinθ + y·cosθ

写成矩阵形式就是：

[新x]   =   [cosθ  -sinθ] [x]
[新y]       [sinθ   cosθ] [y]

这个2x2矩阵，就是二维旋转矩阵 R(θ)。

复数域里的旋转：更简洁的表达

我个人习惯用复数来理解旋转，因为真的简洁到令人舒适。

把二维向量 (x, y) 看作复数 z = x + iy。那么旋转 θ 角度，就是乘上一个单位复数 e^{iθ}：

z' = z · e^{iθ} = (x + iy)(cosθ + i·sinθ)

展开后实部和虚部分别对应新坐标，跟上面矩阵乘法结果一模一样。你看，一个乘法就搞定了，多清爽。

我在项目中遇到过一个问题：如果用矩阵乘法做旋转，每次都要算4个乘法和2个加法。但用复数乘法，编译器优化后往往更快。嗯，这里要注意，PyTorch里复数运算的底层实现其实还是实数运算，但代码写起来确实更直观。

RoPE的核心思想：让内积带上位置信息

好，现在关键来了。RoPE要解决什么问题？

假设有两个词，位置分别是 m 和 n。它们的query向量 q_m 和 key向量 k_n 在做注意力计算时，需要知道彼此的距离 m-n。RoPE的做法是：

1. 把 q 和 k 的每一对维度（2i, 2i+1）看作一个二维向量
2. 给 q_m 旋转 mθ_i 角度，给 k_n 旋转 nθ_i 角度
3. 内积 q_m · k_n 自然就带上了 (m-n) 的相位差

为什么会这样？因为旋转矩阵是正交矩阵，内积满足：

(R(θ)·q) · (R(φ)·k) = q · (R(θ-φ)·k)

说白了，两个向量各自旋转后做内积，等价于一个向量不动，另一个旋转了角度差。这个性质太漂亮了——位置信息变成了相对距离。

频率参数的设计：为什么用θ_i = 10000^{-2i/d}

你可能要问：每个二维子空间的旋转角度 θ_i 为什么不一样？

这其实是借鉴了Sinusoidal位置编码的思路。不同维度用不同的旋转频率，目的是让模型能区分不同尺度的位置关系。

维度索引 i	θ_i 值	旋转周期	能区分的距离范围
0	1.0	2π	短距离（几个token）
1	0.01	~628	中距离
d/2 - 1	接近0	极大	长距离（几乎不旋转）

你看，低维转得快，捕捉局部关系；高维转得慢，捕捉全局依赖。这个多尺度设计，我在做长文本任务时体会特别深——如果所有维度转得一样快，模型根本记不住5000 token以外的信息。

SVG：RoPE在二维子空间中的旋转示意

下面这张图展示了一对维度在RoPE中的行为。我特意画了三个不同位置的向量，你可以直观看到旋转角度随位置变化。

你看，位置 m=0 时向量不旋转（相当于基准方向），m=1 时转了一个 θ，m=2 时转了 2θ。不同位置的向量方向不同，但模长完全一样。这就是RoPE的精髓——位置信息编码在角度里，而不是模长里。

高维扩展：从二维到d_model维

实际Transformer的head维度 d_head 通常是64或128。RoPE的做法是：

1. 把 d_head 维分成 d_head/2 个二维子空间
2. 每个子空间 i 有自己的旋转频率 θ_i = 10000^{-2i/d_head}
3. 对位置 m 的向量，每个子空间旋转 m·θ_i 角度

代码实现其实很简单，我贴一段核心逻辑：

def apply_rope(x, position_ids):
    # x: [batch, seq_len, num_heads, head_dim]
    # position_ids: [batch, seq_len]
    
    head_dim = x.shape[-1]
    # 生成频率 [head_dim/2]
    theta = 1.0 / (10000 ** (torch.arange(0, head_dim, 2) / head_dim))
    
    # 计算每个位置每个子空间的旋转角度 [batch, seq_len, head_dim/2]
    angles = position_ids.unsqueeze(-1) * theta
    
    # 构造cos和sin [batch, seq_len, 1, head_dim/2]
    cos = torch.cos(angles).unsqueeze(-2)
    sin = torch.sin(angles).unsqueeze(-2)
    
    # 将x分成两半，分别旋转
    x1 = x[..., :head_dim//2]
    x2 = x[..., head_dim//2:]
    
    # 旋转公式：x1' = x1*cos - x2*sin, x2' = x1*sin + x2*cos
    x1_new = x1 * cos - x2 * sin
    x2_new = x1 * sin + x2 * cos
    
    return torch.cat([x1_new, x2_new], dim=-1)

为什么RoPE比绝对位置编码好？

我个人觉得，RoPE最大的优势是「相对位置感知」和「远程衰减」这两个性质天然自带，不需要额外学习。

• 相对位置感知：内积结果只依赖于 m-n，而不是 m 和 n 各自的值。这意味着模型学到的是「词A在词B左边第3个位置」这种相对关系，而不是「词A在第5位，词B在第8位」这种绝对信息。
• 远程衰减：随着 |m-n| 增大，内积的幅度会振荡衰减。这符合直觉——距离越远的词，相关性应该越弱。

我在做长文本摘要任务时对比过，用绝对位置编码的模型，输入超过2048 token后注意力分布就乱成一团。换成RoPE后，8192 token的输入依然能保持清晰的注意力模式。这就是旋转编码的威力。

好了，这一章的内容就到这儿。数学原理搞清楚了，下一章咱们就可以动手实现一个完整的RoPE多头注意力模块了。

---