📐 RoPE · 位置编码
30章 完全解析
🧑🏫
从入门到前沿
01
位置编码的起源
📄 阅读
→
为什么Transformer需要位置编码？从RNN序列依赖到并行化，引出必要性。
02
绝对位置编码 Sinusoidal
📄 阅读
→
原版Transformer Sinusoidal公式详解、可视化与优缺点分析。
03
可学习位置编码 Learned
📄 阅读
→
BERT等模型使用的可学习位置编码原理、训练方式与局限性。
04
相对位置编码 Relative
📄 阅读
→
Shaw et al. 提出相对位置编码思想，解决长距离依赖与平移不变性。
05
Transformer-XL 与相对位置编码
📄 阅读
→
Transformer-XL如何改进相对位置编码，引入段级递归。
06
T5 偏置位置编码
📄 阅读
→
T5模型使用的简化版相对位置偏置（Relative Position Bias）原理。
07
DeBERTa 解耦位置编码
📄 阅读
→
DeBERTa如何将位置编码与内容编码解耦，提升模型表现。
08
RoPE数学基础（一）：复数与旋转矩阵
📄 阅读
→
从复数乘法到二维旋转矩阵，为RoPE打下数学基础。
09
RoPE数学基础（二）：高维旋转
📄 阅读
→
如何将二维旋转扩展到d维空间，分块旋转矩阵的设计。
10
RoPE核心公式推导
📄 阅读
→
详细推导RoPE注意力计算公式，展示如何将位置信息融入Query和Key。
11
RoPE几何意义
📄 阅读
→
从几何角度理解RoPE——在复数空间旋转向量，保持模长不变。
12
RoPE长距离衰减特性
📄 阅读
→
RoPE为什么具有远程衰减性？数学证明与实验观察。
13
RoPE代码实现 (PyTorch)
📄 阅读
→
手写RoPE的PyTorch实现，包括旋转矩阵生成、apply_rotary_emb函数。
14
RoPE在LLaMA中的应用
📄 阅读
→
LLaMA系列模型如何采用RoPE，具体参数配置与实现细节。
15
RoPE在ChatGLM中的应用
📄 阅读
→
ChatGLM系列对RoPE的适配与优化，包括2D/3D位置编码。
16
RoPE在Mistral中的应用
📄 阅读
→
Mistral模型如何结合RoPE与滑动窗口注意力。
17
RoPE外推能力 Extrapolation
📄 阅读
→
RoPE在长文本外推上的表现，与ALiBi等方法的对比。
18
RoPE插值方法 Interpolation
📄 阅读
→
Position Interpolation（PI）方法，如何让RoPE适应更长上下文。
19
NTK-aware Scaled RoPE
📄 阅读
→
NTK感知的缩放方法，改进RoPE在高频和低频分量的插值效果。
20
YaRN (Yet another RoPE extensioN)
📄 阅读
→
YaRN方法如何进一步优化RoPE的长上下文扩展。
21
RoPE与Flash Attention结合
📄 阅读
→
在Flash Attention中高效实现RoPE，减少计算开销。
22
RoPE变体：Leaky ReRoPE、xPos
📄 阅读
→
介绍RoPE的改进变体，如Leaky ReRoPE和xPos。
23
位置编码对比实验
📄 阅读
→
在标准Benchmark上对比Sinusoidal、Learned、Relative、RoPE性能。
24
RoPE在视觉Transformer中的应用
📄 阅读
→
ViT、Swin Transformer等视觉模型如何借鉴RoPE思想。
25
RoPE在多模态模型中的应用
📄 阅读
→
LLaVA、Qwen-VL等模型如何融合RoPE处理图文位置信息。
26
RoPE数学证明：旋转矩阵正交性
📄 阅读
→
证明RoPE使用的旋转矩阵是正交矩阵，保持内积性质。
27
RoPE梯度分析
📄 阅读
→
RoPE对梯度流动的影响，是否存在梯度消失或爆炸问题。
28
RoPE工程优化
📄 阅读
→
在推理加速（vLLM、TensorRT-LLM）中对RoPE的优化技巧。
29
位置编码未来趋势
📄 阅读
→
从RoPE到下一代位置编码，Mamba等状态空间模型的位置编码方案。
30
总结与实战：从零训练小型Transformer
📄 阅读
→
用RoPE从零训练一个小型Transformer，完整代码与实验报告。