🌱 从词向量到BERT
NLP 进阶之路
⚡ 30 章 · 从分布式表示到大模型曙光
📘
完整课程 · 2025
1
词向量基础：从One-hot到Word2Vec
分布式表示的核心思想
2
Word2Vec详解：CBOW与Skip-gram
负采样 & 层次Softmax
3
GloVe与FastText
全局矩阵分解 + 子词信息
4
词向量的评估与应用
类比推理 · 相似度 · 下游迁移
5
词向量的局限性
一词多义 · OOV · 静态表示困境
6
ELMo与动态词向量
双向LSTM · 上下文感知
7
注意力机制入门
Seq2Seq Attention · Bahdanau→Luong
8
Self-Attention与Transformer
多头注意力 · 位置编码 · FFN
9
Transformer详解
Encoder-Decoder · Mask · LayerNorm
10
BERT的诞生
预训练+微调 · MLM & NSP
11
BERT的输入表示
Token · Segment · Position Embeddings
12
BERT预训练细节
Mask策略 · 数据 · 优化器
13
BERT微调实践
文本分类 · 序列标注 · 问答
14
BERT变体：RoBERTa, ALBERT, DistilBERT
更优 · 更轻 · 更快
15
从BERT到GPT
自回归 vs 自编码
16
GPT系列演进
GPT-1 · 2 · 3 能力涌现
17
T5与Text-to-Text框架
统一所有NLP任务
18
XLNet与排列语言模型
解决BERT独立性假设
19
ELECTRA：判别式预训练
更高效的训练策略
20
DeBERTa与解码增强
相对位置编码 · 解耦注意力
21
Prompt Learning
从微调到提示学习
22
Prefix Tuning & P-Tuning
轻量级微调方法
23
LoRA与Adapter
参数高效微调技术
24
In-Context Learning
大模型少样本学习能力
25
Chain-of-Thought
思维链推理 · 复杂任务求解
26
检索增强生成 RAG
Retrieval-Augmented Generation
27
多模态NLP：CLIP, BLIP
图文理解与多模态
28
大模型对齐：RLHF与指令微调
人类反馈 · 对齐
29
模型压缩与部署
量化 · 剪枝 · 蒸馏
30
NLP的未来：从语言模型到世界模型
AGI的曙光