📘 量化压缩·TensorRT
🎯 30章 实战目录
⭐ 友好色系 · 紧凑卡片
🚀 点击章节跳转对应 .html
01
模型量化基础
原理
对称/非对称量化 · per-tensor vs per-channel
02
量化感知训练 QAT
FakeQuant
伪量化节点 · BN折叠 · 训练流程
03
训练后量化 PTQ
校准
KL散度 · 校准数据集 · PTQ vs QAT
04
权重量化 & 激活量化
混合精度
动态/静态量化 · 激活量化挑战
05
INT8量化实战
TensorRT
校准器实现 · 精度调优 · 踩坑记录
06
模型剪枝入门
结构化
非结构化/结构化剪枝 · 剪枝粒度
07
结构化剪枝实战
通道剪枝
L1范数 · BN层γ系数 · 微调
08
知识蒸馏基础
温度系数
软/硬标签 · 蒸馏损失设计
09
知识蒸馏实战
教师-学生
logits/特征蒸馏 · 分类/检测
10
蒸馏+量化结合
联合训练
先蒸馏后量化 · 量化感知蒸馏
11
权重聚类与共享
K-means
哈夫曼编码 · 存储节省分析
12
低秩分解
SVD / Tucker
矩阵分解压缩全连接 · 卷积核分解
13
混合精度训练
FP16/BF16
Loss Scaling · AMP实战
14
TensorRT基础
层融合
推理引擎 · 内核自动调优
15
TensorRT安装配置
环境
tar/deb/rpm · Python/C++ API
16
ONNX模型导出
PyTorch
opset选择 · 动态轴 · ONNX-Simplifier
17
TensorRT模型构建
Builder
网络定义 · 序列化/反序列化
18
TensorRT动态形状
动态batch
Optimization Profile · 形状张量
19
TensorRT插件开发
IPluginV2
自定义层 · CUDA内核编写
20
INT8校准实战
Calibrator
熵校准/MinMax · 精度验证
21
多流推理
Multi-Stream
CUDA流管理 · 并发推理 · 吞吐量
22
C++ API实战
推理
上下文管理 · 内存管理 · 异常处理
23
Python API实战
NumPy
CUDA交互 · 调试技巧
24
部署常见问题
精度/性能
动态形状报错 · 内存泄漏分析
25
量化部署全流程
Pipeline
导出-量化-优化-部署 · 自动化脚本
26
边缘设备部署
Jetson
DLA加速 · 低功耗推理策略
27
服务端部署优化
Triton
MPS/MIG · 批量推理 · 推理服务化
28
量化部署Benchmark
指标
延迟/吞吐量/内存 · 精度对比
29
工业案例
检测/NLP
目标检测 · 推荐模型 · 多模态
30
前沿趋势
FP8/4-bit
稀疏化推理 · 硬件协同设计