🧠 手写RoPE

第 1 章

🎯 RoPE背景与动机

为什么需要位置编码？绝对位置编码 vs 相对位置编码的痛点。

📖 原理 ⚡ 入门

第 2 章

🧮 旋转位置编码数学原理

复数表示、旋转矩阵、频率向量的推导。

📐 数学 🔷 核心

第 3 章

💻 手撕RoPE代码 (PyTorch)

从零实现旋转矩阵、应用位置编码到Q/K。

⚙️ 实现 🔥 实战

第 4 章

🐛 调试技巧与常见踩坑

维度不匹配、精度问题、长文本外推性验证。

🔍 调试 ⚠️ 避坑

第 5 章

🦙 RoPE在LLaMA中的应用

源码解读、与Attention的集成、性能对比。

🏗️ 架构 📊 对比

第 6 章

🚀 RoPE变体与进阶

NTK-aware RoPE、动态NTK、YaRN。

🧪 前沿 ✨ 扩展

第 7 章

🧰 实战：集成RoPE并训练

在自定义Transformer中集成RoPE并训练验证。

🛠️ 项目 ✅ 验证

第 8 章

💡 总结与扩展思考

RoPE的局限性、未来方向（ALiBi、xPos等）。

🧠 思考 🔭 展望

第 9 章

📋 FAQ & 调试Checklist

常见问题FAQ与调试Checklist。

❓ 问答 ✅ 清单

第 10 章

📚 推荐阅读 & 开源项目

附录：推荐阅读与开源项目链接。

🔗 资源 ⭐ 扩展