全链路拆解实战 · 目录
30章 · 从Embedding到输出
01
Embedding基础：什么是Embedding？为什么需要Embedding？从One-hot到Dense Vector的演变。
向量化表示 · 降维语义
02
Word2Vec原理：CBOW与Skip-gram模型架构详解、负采样与层次Softmax。
分布式假设 · 训练加速
03
Word2Vec实战：使用Gensim训练自己的词向量、参数调优与结果可视化。
Gensim · t-SNE
04
GloVe与FastText：全局矩阵分解 vs 局部窗口、子词信息对OOV问题的处理。
共现矩阵 · 子词n-gram
05
Embedding的评估方法：类比推理、相似度计算、下游任务评估。
词类比 · 语义基准
06
从词到句：平均池化、LSTM/GRU编码、Transformer Encoder。
句子表示 · 序列聚合
07
Sentence-BERT：双塔模型架构、对比学习损失函数（Triplet Loss、InfoNCE）。
语义相似 · 双塔
08
实战：搭建语义搜索系统（基于Sentence-BERT + Faiss）。
向量检索 · 相似搜索
09
位置编码：绝对位置编码、相对位置编码、RoPE、ALiBi。
位置信息 · 外推
10
Self-Attention机制：QKV的计算、注意力分数、多头注意力。
缩放点积 · 多头
11
Transformer Encoder详解：残差连接、LayerNorm、FFN。
Pre-Norm · 前馈网络
12
从BERT到RoBERTa：MLM与NSP任务、训练技巧与改进。
动态掩码 · 更大批量
13
Prompt Tuning与Prefix Tuning：轻量级微调Embedding层。
软提示 · 参数高效
14
LLM中的Embedding：GPT系列、LLaMA系列的输入表示。
token嵌入 · 层归一化
15
多模态Embedding：CLIP模型架构、图文对齐原理。
对比学习 · 双编码器
16
实战：基于CLIP的零样本图像分类。
零样本 · 图文匹配
17
图Embedding：Node2Vec、GraphSAGE、GCN基础。
随机游走 · 邻居聚合
18
知识图谱Embedding：TransE、RotatE、ComplEx。
关系建模 · 复数空间
19
Embedding的压缩与量化：Product Quantization、PCA降维。
PQ · 维度约减
20
大规模Embedding存储：Milvus、ElasticSearch、HNSW算法。
向量数据库 · 近似最近邻
21
Embedding的在线服务化：模型部署、API封装、缓存策略。
推理服务 · 高并发
22
从Embedding到分类：逻辑回归、MLP、端到端微调。
分类头 · 迁移学习
23
从Embedding到序列标注：CRF层、BiLSTM-CRF、BERT-CRF。
序列标注 · 条件随机场
24
从Embedding到生成：Decoder-only架构、Cross-Attention。
自回归 · 编码器-解码器
25
实战：基于Embedding的文本风格迁移。
风格解耦 · 对抗训练
26
Embedding的偏差与公平性：词向量中的性别偏见、去偏方法。
公平性 · 去偏
27
Embedding的可解释性：探针任务、特征归因、激活最大化。
探针 · 可解释AI
28
前沿：Megatron-Turing NLG的Embedding并行策略。
模型并行 · 张量切片
29
前沿：Retrieval-Augmented Generation (RAG) 中的Embedding。
检索增强 · 知识库
30
全链路总结：从原始数据到最终输出的完整Pipeline设计模式。
端到端 · 架构模式
⚡ 点击卡片跳转对应章节 · 全链路30讲