📘 五组件调试·稳定性
30章 实战指南
✨
友好配色
01
五组件概述
数据流、模型、优化器、调度器、损失函数 · 协作关系
02
数据流调试
加载、预处理、增强管线 · 常见错误与断点排查
03
模型结构验证
前向形状检查、参数初始化、权重共享调试
04
优化器配置
SGD / Adam / AdamW · 超参数调优
05
学习率调度器
StepLR · CosineAnnealing · ReduceLROnPlateau
06
损失函数设计
CrossEntropy · MSE · 自定义损失数值稳定性
07
梯度流监控
梯度爆炸/消失检测 · 范数 · 直方图诊断
08
训练循环断点
前向/反向/参数更新 · 逐行调试与日志
09
过拟合与欠拟合
数据增强 · 正则化 · 早停 · 五组件协同
10
Batch Size与学习率联动
线性缩放 · 预热策略 · 踩坑记录
11
混合精度训练
AMP原理 · GradScaler · FP16损失处理
12
分布式训练调试
DDP · Horovod · 梯度累积 · 通信瓶颈
13
实验追踪与可视化
TensorBoard · WandB · 五组件关键指标
14
数据不平衡处理
损失加权 · 采样器 · Focal Loss集成
15
模型初始化策略
Xavier · Kaiming · 正交初始化 · 稳定性影响
16
正则化技术
Dropout · Label Smoothing · 权重衰减配置
17
梯度裁剪
clip_grad_norm_ · clip_grad_value_ · 阈值选择
18
损失函数数值问题
NaN/Inf排查 · 数据→模型→损失全链路
19
调度器与优化器协同
调度器对动量项影响 · 调整方法
20
模型保存与恢复
Checkpoint · 断点续训 · 组件状态一致性
21
自动化超参数搜索
Grid / Random / Bayesian · 五组件应用
22
多任务学习调试
共享层梯度冲突 · 损失加权平衡
23
序列模型训练稳定性
RNN/LSTM/Transformer · 梯度裁剪 · LayerNorm
24
GAN训练稳定性
生成器/判别器平衡 · 梯度惩罚 · 优化器配置
25
强化学习训练稳定性
PPO/A2C · 优势估计 · 价值损失 · 组件调试
26
迁移学习与微调
冻结层 · 不同学习率 · 损失函数适配
27
量化训练调试
QAT伪量化 · 损失变化 · 优化器调整
28
异常检测与自动恢复
NaN/Inf自动捕获 · 组件状态回滚
29
性能分析与优化
Profiler · 数据加载瓶颈 · 前向/反向时间占比
30
综合案例实战
从零构建稳定训练CV/NLP模型 · 全流程调试