🧠 Embedding · 权重共享 & 梯度优化
📚 30 章实战
友好
01
Embedding基础
词向量 · One-hot局限 · 数学本质
02
PyTorch Embedding层
nn.Embedding · 初始化 · 前反向
03
权重共享原理
为何共享 · 数学基础 · 对比实验
04
权重共享实现方式
手动共享 · nn.Parameter · 跨层
05
梯度流动机制
梯度计算 · 回传路径 · 消失爆炸
06
梯度裁剪技术
clip_grad_norm_ · clip_grad_value_
07
学习率调度
分层LR · warmup · 余弦退火
08
权重初始化策略
Xavier · Kaiming · 预训练加载
09
稀疏梯度与稠密梯度
稀疏模式 · sparse参数详解
10
梯度累积
模拟大batch · 累积注意事项
11
混合精度训练
AMP · 半精度问题 · 损失缩放
12
梯度检查点
内存权衡 · Embedding应用
13
权重衰减与正则化
L2 · 正确用法 · LayerNorm
14
Dropout在Embedding中
Embedding Dropout · 变体
15
预训练Embedding微调
Word2Vec/GloVe · 冻结解冻
16
多任务权重共享
共享Embedding · 梯度冲突
17
对比学习中的Embedding
SimCLR/MoCo · 负样本挖掘
18
Transformer权重共享
BERT/GPT · ALBERT分解
19
大规模Embedding优化
参数服务器 · 异步SGD
20
Embedding压缩技术
低秩分解 · 量化 · 知识蒸馏
21
梯度噪声与稳定性
标签平滑 · 对抗训练
22
自适应优化器
AdamW/LAMB · 参数分组
23
梯度累积步数优化
动态累积 · 通信开销
24
Embedding并行化
模型并行 · 张量并行 · 序列并行
25
梯度压缩通信
量化 · TopK选择
26
内存优化技术
梯度卸载 · 重计算 · 混合存储
27
调试与可视化
梯度直方图 · Embedding可视化
28
常见陷阱与避坑
梯度不更新 · 显存泄漏
29
性能基准测试
收敛速度 · 内存 · 吞吐量
30
综合实战项目
权重共享训练系统 · 全流程