LLaMA 架构深度拆解
📚 30 章 · 从 RoPE 到实战
v2.0
01
RoPE概述
为什么需要位置编码？绝对/相对位置局限性，核心思想与数学直觉
02
旋转矩阵基础
二维旋转矩阵，复数表示与旋转，从二维推广到高维
03
RoPE数学推导
LLaMA中RoPE公式推导，频率向量设计，旋转矩阵构造
04
RoPE代码实现
PyTorch前向传播，逐行解析，与标准Attention集成
05
RoPE在LLaMA中的位置
整体架构概览，Transformer层位置，与RMSNorm/SwiGLU关系
06
LLaMA整体架构
Embedding→LM Head数据流，组件功能，与原始Transformer差异
07
RMSNorm详解
LayerNorm回顾，RMSNorm数学与代码，为何LLaMA选择它
08
SwiGLU激活函数
GLU家族，SwiGLU数学形式，LLaMA实现与优势
09
LLaMA的Attention机制
Grouped Query Attention原理，KV Cache优化，与MHA对比
10
LLaMA的FFN层
SwiGLU FFN结构，隐藏层维度选择，与标准FFN参数对比
11
Pre-Norm vs Post-Norm
两种归一化位置对比，LLaMA选择Pre-Norm，训练稳定性
12
LLaMA的Tokenizer
SentencePiece原理，BPE vs Unigram，词表设计特点
13
LLaMA的Embedding层
Token Embedding实现，与RoPE融合，权重共享策略
14
Decoder Layer堆叠
层数选择影响，残差连接作用，梯度流动分析
15
LLaMA的LM Head
输出层设计，与Embedding权重绑定，Top-K/Top-P采样
16
配置参数对比
7B/13B/70B配置，参数量计算，显存估算
17
训练数据
数据来源与预处理，配比策略，数据质量影响
18
训练策略
学习率调度，Batch Size，梯度裁剪，混合精度
19
推理优化
KV Cache实现，Flash Attention原理，Page Attention
20
量化技术
INT8/INT4量化，GPTQ与AWQ对比，对RoPE影响
21
分布式训练
张量并行，流水线并行，数据并行，ZeRO优化器
22
微调技术
LoRA原理，QLoRA实现，Adapter方法对比
23
上下文扩展
位置编码外推，NTK-aware RoPE，YaRN方法
24
评估方法
标准Benchmark，困惑度计算，下游任务评估
25
部署实践
vLLM框架，TGI工具，ONNX Runtime部署
26
LLaMA变体模型
Alpaca, Vicuna, Llama-2-Chinese等改进点
27
LLaMA的局限性
事实性错误，长上下文处理，多语言支持不足
28
社区生态
Hugging Face集成，开源工具链，模型卡使用
29
未来发展
MoE架构，多模态扩展，Agent能力
30
综合实战
从零实现简化版LLaMA (RoPE, RMSNorm, SwiGLU) 小数据集训练验证