🧩 手写简化Transformer
五组件·完整工程
📚 30章 从零搭建 · 友好色系
✨ 注意力
🧱 编码器/解码器
⚙️ 工程实战
🗂️ 点击卡片跳转 01.html ~ 30.html
01
Transformer总览
五组件
从RNN到Transformer · 核心思想 · 五组件概览
↗
02
环境搭建
⚙️
Python · PyTorch · CUDA · 项目结构初始化
↗
03
数据组件（一）
分词
文本预处理 · 分词器原理 · 构建词表
↗
04
数据组件（二）
加载器
数据加载器 · 批次生成 · 填充与掩码
↗
05
嵌入组件（一）
Token+位置
Token嵌入 · 位置编码原理
↗
06
嵌入组件（二）
位置编码
正弦位置编码实现 · 可学习位置编码
↗
07
注意力组件（一）
缩放点积
缩放点积注意力 · 单头注意力实现
↗
08
注意力组件（二）
多头
多头注意力机制 · 代码实现
↗
09
注意力组件（三）
掩码&交叉
因果掩码 · 交叉注意力
↗
10
前馈组件（一）
FFN结构
FFN结构 · 激活函数选择
↗
11
前馈组件（二）
残差连接
FFN代码实现 · 残差连接
↗
12
层归一化
LayerNorm
LayerNorm原理 · 代码实现 · 对比BatchNorm
↗
13
编码器层
单层
单层编码器组装 · 前向传播
↗
14
解码器层
掩码多头
单层解码器组装 · 掩码多头注意力
↗
15
编码器堆叠
多层
多层编码器 · 参数共享与独立
↗
16
解码器堆叠
交叉注意力
多层解码器 · 交叉注意力连接
↗
17
输出组件
投影+Softmax
线性投影层 · Softmax · 生成策略
↗
18
完整模型组装
Encoder-Decoder
Encoder-Decoder架构 · 参数初始化
↗
19
损失函数
交叉熵
交叉熵损失 · 标签平滑
↗
20
优化器
AdamW
AdamW优化器 · 学习率调度
↗
21
训练循环
梯度累积
单步训练 · 梯度累积 · 梯度裁剪
↗
22
验证与评估
困惑度·BLEU
困惑度计算 · BLEU评分简介
↗
23
推理组件
束搜索
自回归生成 · 束搜索
↗
24
配置管理
YAML
YAML配置文件 · 超参数管理
↗
25
日志与可视化
TensorBoard
TensorBoard集成 · 训练曲线
↗
26
模型保存与加载
Checkpoint
Checkpoint机制 · 断点续训
↗
27
单元测试
组件+集成
组件测试 · 集成测试
↗
28
工程化实践
规范·注解
代码规范 · 类型注解 · 文档生成
↗
29
完整训练示例
小规模
小规模数据集训练 · 效果演示
↗
30
总结与扩展
变体·部署
Transformer变体 · 部署建议 · 学习路径
↗