📘 TensorRT-LLM
量化实战 · 30章
🎨 风格 · 明快紧凑
01
课程导论：TensorRT-LLM与量化
为什么需要量化？课程目标与前置知识
02
环境搭建：Docker & 源码编译
拉取镜像、编译、验证安装
03
Transformer架构速览
从Attention到LLM，计算热点
04
量化基础：对称/非对称 & 粒度
per-tensor, per-channel, per-group
05
权重量化 W8A16
原理、实现、TensorRT-LLM配置
06
激活量化 W8A8 · SmoothQuant
平滑激活值异常值详解
07
KV Cache量化 INT8/FP8
原理与实战，显存节省效果
08
FP8训练后量化
H100支持，TensorRT-LLM流程
09
INT4权重量化 GPTQ/AWQ
算法原理，加载GPTQ模型
10
W4A8 混合精度量化
INT4权重+INT8激活挑战与方案
11
量化感知训练 QAT 入门
QAT vs PTQ，何时需要QAT
12
TensorRT-LLM模型定义
Python API定义LLaMA结构
13
模型导出与ONNX
HuggingFace → ONNX，动态轴处理
14
TensorRT引擎构建
trtllm-build命令与关键参数
15
引擎序列化与反序列化
保存/加载引擎文件
16
运行时推理 Python API
流式输出与批处理
17
量化模型精度评估
lm_eval / 自定义脚本，困惑度
18
性能Profiling
Nsight Systems / TensorRT Profiler
19
显存优化 PagedAttention
碎片整理，量化显存收益计算
20
动态批处理与调度
inflight_batching原理与配置
21
多GPU推理 TP/PP
张量并行与流水线并行
22
FP8推理实战 LLaMA-70B
H100端到端部署流程
23
INT4推理实战 Falcon-180B
A100显存与速度权衡
24
量化模型服务化 Triton
Triton Inference Server集成
25
自定义量化算子 CUDA
量化/反量化Kernel集成
26
量化+稀疏化 2:4+INT8
结构化稀疏与极限压缩
27
模型校准数据集
选择与数据量对精度影响
28
常见问题与调试
NaN、精度下降、性能不达标
29
前沿量化技术展望
FP4, NF4, MXFP混合精度
30
综合实战项目
HF下载→量化→引擎→部署→压测
⚡ 点击卡片跳转对应章节 · 30章完整目录 ⚡