01
量化入门:为什么需要量化?
数学原理与核心思想,精度与速度的起点
基础数学
02
对称量化 vs 非对称量化
原理、公式推导与适用场景对比
对比公式
03
权重量化:逐层 vs 逐通道
区别与选择,粒度对精度的影响
权重粒度
04
激活量化:动态 vs 静态
实现方式与权衡,推理效率关键
激活动态
05
MinMax量化
最朴素的量化方法,原理与局限性
朴素极值
06
百分位量化
如何用百分位法对抗离群值
离群值鲁棒
07
KL散度量化
信息论视角下的最优截断策略
信息论截断
08
量化粒度:Per-tensor/Channel/Group
三种粒度详解与选择指南
粒度分组
09
混合精度量化
不同层用不同位宽,效果出奇的好
混合精度位宽
10
训练后量化 (PTQ)
无需重新训练,快速部署的利器
PTQ快速
11
量化感知训练 (QAT)
模拟量化误差,让模型自己适应
QAT训练
12
LLM.int8() 量化
解决大模型离群值问题的经典方案
int8离群值
13
GPTQ
基于最优脑手术的一次性后训练量化
GPTQ后训练
14
AWQ:激活感知权重量化
精度与速度的平衡,激活感知
AWQ激活
15
SmoothQuant
平滑激活值,让量化更简单
平滑激活
16
NF4量化 (4-bit NormalFloat)
QLoRA背后的核心技术
NF4QLoRA
17
FP8量化
硬件原生支持的8位浮点格式
FP8硬件
18
KV Cache量化
推理加速的关键,压缩注意力缓存
KV缓存
19
稀疏化与量化的结合
剪枝+量化,双重压缩
稀疏剪枝
20
蒸馏与量化的结合
知识蒸馏辅助量化恢复精度
蒸馏恢复
21
量化工具链对比
PyTorch / TensorRT / ONNX Runtime
工具对比
22
量化模型部署实践
CPU vs GPU vs NPU 推理实践
部署硬件
23
量化精度评估
困惑度、下游任务与消融实验
评估指标
24
量化常见陷阱
精度崩塌、硬件不兼容、校准集选择
陷阱避坑
25
低比特量化 (2-bit/3-bit)
极限压缩的挑战与进展
低比特极限
26
量化与长上下文
量化对长序列推理的影响
长序列上下文
27
多模态模型量化
视觉语言模型的量化特殊之处
多模态VLM
28
量化模型的安全性与鲁棒性
量化会引入新漏洞吗?
安全鲁棒
29
量化前沿:1-bit LLM / BitNet
Ternary Weight 与极限压缩
前沿1-bit
30
量化实战:HuggingFace到部署
从HF模型到量化部署全流程
实战全流程