Transformer 文本生成 · 实战目录

🎯 30 章 · 从零到项目 v2.0
1
Transformer起源：从RNN到Attention的演进，为什么需要Transformer？
01.html ⭐ 核心概念
2
核心架构：Encoder-Decoder结构总览，输入输出流程。
02.html 🧩 框架
3
Self-Attention机制：QKV矩阵计算，注意力分数与Softmax。
03.html ⚙️ 机制
4
Multi-Head Attention：多头并行的原理与实现，为什么有效？
04.html 🧠 多头
5
Positional Encoding：位置编码的数学原理，为什么不用整数？
05.html 📐 位置
6
Feed-Forward Network：两层全连接与激活函数，隐藏层维度选择。
06.html 🔧 FFN
7
Layer Normalization与Residual Connection：稳定训练的关键技巧。
07.html 🌀 归一化
8
Masked Attention：Decoder中的因果掩码，防止信息泄露。
08.html 🔒 掩码
9
Transformer训练技巧：学习率预热、梯度裁剪、Dropout。
09.html 🚀 训练
10
从零实现Transformer：PyTorch搭建完整模型（上）。
10.html 💻 实现上
11
从零实现Transformer：PyTorch搭建完整模型（下）。
11.html 💻 实现下
12
文本生成基础：自回归生成原理，Greedy Search与Beam Search。
12.html 📝 生成
13
采样策略：Top-k采样、Top-p采样、Temperature参数调优。
13.html 🎲 采样
14
GPT系列：从GPT-1到GPT-4的演进，核心改进点。
14.html 🤖 GPT
15
BERT与生成任务：BERT为什么不适合生成？Encoder-only的局限。
15.html 📖 BERT
16
T5模型：Text-to-Text统一框架，Prefix-tuning思想。
16.html 🔁 T5
17
BART模型：Denoising Autoencoder，结合BERT和GPT的优点。
17.html 🧩 BART
18
XLNet与Permutation Language Modeling：打破顺序限制。
18.html 🔄 XLNet
19
CTRL模型：可控文本生成，Conditional Transformer。
19.html 🎛️ CTRL
20
Prompt Engineering：硬提示与软提示，Prefix Tuning。
20.html 💡 Prompt
21
P-Tuning与P-Tuning v2：连续提示的优化方法。
21.html 🔧 P-Tuning
22
LoRA微调：低秩适配，高效参数微调实战。
22.html ⚡ LoRA
23
Adapter与Prefix Tuning对比：不同微调策略的优劣。
23.html ⚖️ 对比
24
文本生成评估指标：Perplexity、BLEU、ROUGE、METEOR。
24.html 📊 指标
25
解码加速技术：KV Cache原理、Speculative Decoding。
25.html ⚡ 加速
26
长文本生成挑战：位置编码外推、分段处理、记忆机制。
26.html 📏 长文本
27
可控生成实战：情感控制、主题控制、风格迁移。
27.html 🎭 可控
28
对话系统生成：多轮对话中的上下文管理，Persona机制。
28.html 💬 对话
29
代码生成模型：CodeGen、CodeLlama、StarCoder实战。
29.html 👨‍💻 代码
30
项目实战：基于GPT-2的新闻标题生成系统（完整流程）。
30.html 🚀 项目
📢 : 专注资料整理 ✨ 30章 · 从原理到实战