第01章
量化误差的根源
为什么QAT中会有量化误差？从信息论角度理解量化噪声的数学本质。
信息论噪声本质
第02章
量化误差的数学建模
建立量化误差的统计学模型，理解均匀量化与非线性量化的误差分布。
统计模型均匀/非线性
第03章
直通估计器（STE）的原理与局限
STE如何绕过量化不可导问题？它的近似误差从何而来？
STE近似误差
第04章
伪量化操作（Fake Quantization）详解
Fake Quant节点在前向与反向传播中的具体行为。
Fake Quant前反向
第05章
量化尺度与零点初始化策略
MinMax、Percentile、MSE最小化方法对比。
ScaleZero Point
第06章
梯度失配问题
STE导致的梯度近似误差如何影响权重更新？
梯度误差权重更新
第07章
量化感知训练中的学习率调整
为什么QAT需要更小的学习率？余弦退火与指数衰减的实战对比。
学习率余弦退火
第08章
批归一化（BN）融合技巧
BN层在QAT中的特殊处理，Folding技术消除量化误差。
BN融合Folding
第09章
逐通道量化的优势
如何减少权重分布的离群值影响？
Per-Channel离群值
第10章
对称量化 vs 非对称量化
不同激活函数（ReLU、GELU、Sigmoid）下的最佳选择。
对称非对称
第11章
量化范围（Clipping Range）的校准
通过KL散度、熵最小化寻找最优截断阈值。
KL散度截断
第12章
滑动平均更新量化参数
在训练过程中动态调整Scale和Zero Point的工程实践。
滑动平均动态调整
第13章
量化噪声的正则化方法
在损失函数中添加量化噪声惩罚项。
正则化惩罚项
第14章
知识蒸馏辅助QAT
用全精度教师网络指导学生网络，减少量化精度损失。
知识蒸馏教师网络
第15章
渐进式量化
从高精度到低精度逐步量化的策略。
渐进式逐步量化
第16章
混合精度量化
敏感层保留高精度，非敏感层使用低精度。
混合精度敏感层
第17章
量化感知的批归一化统计量修正
修正训练与推理时BN统计量不一致导致的误差。
BN统计量修正
第18章
权重与激活的联合优化
同时优化权重和激活的量化参数，而非独立处理。
联合优化权重激活
第19章
量化感知的模型结构调整
为量化友好的网络结构设计（如避免Add操作后的量化）。
结构设计友好量化
第20章
基于梯度的量化参数学习
将Scale和Zero Point作为可学习参数进行反向传播优化。
可学习参数梯度优化
第21章
量化误差的补偿技术
在推理时添加误差补偿项，减少量化带来的输出偏移。
误差补偿推理偏移
第22章
数据增强对QAT的影响
如何通过数据增强提升量化模型的泛化能力？
数据增强泛化
第23章
量化感知的微调策略
全模型微调 vs 仅量化参数微调的效果对比。
微调全模型/部分
第24章
跨层量化误差传播分析
量化误差如何在网络层间累积和放大？
误差传播累积
第25章
基于泰勒展开的量化误差分析
用一阶和二阶泰勒展开近似量化对损失的影响。
泰勒展开近似损失
第26章
量化感知的损失函数设计
针对量化误差特点设计专门的损失项。
损失函数定制
第27章
多阶段QAT训练流程
从全精度预训练到最终低精度量化的完整pipeline。
多阶段pipeline
第28章
硬件在环量化校准
利用真实硬件反馈调整量化参数。
硬件在环校准
第29章
量化误差的可视化与诊断工具
如何用直方图、散点图定位量化问题？
可视化诊断
第30章
综合案例：ResNet-50到MobileNet
从ResNet-50到MobileNet的QAT实战，对比不同误差消除技巧的效果。
综合案例实战对比