📘 TensorRT-LLM 实战
模型转换·格式适配
🎯 30 章 · 从入门到部署
1
TensorRT-LLM概述
核心优势 · 适用场景 · 对比
2
环境准备
CUDA/cuDNN · Docker · 源码编译
3
模型格式基础
ONNX详解 · PyTorch导出 · 算子检查
4
模型导出第一步
torch.onnx.export · 动态轴 · 命名规范
5
ONNX简化与优化
onnx-simplifier · 常量折叠 · 图优化
6
TensorRT-LLM模型定义
JSON配置 · 层参数 · 注意力机制
7
权重格式转换
PyTorch→TRT-LLM · 分片 · FP16/INT8/INT4
8
Tokenizer适配
HuggingFace转换 · 自定义 · 词汇表对齐
9
单卡模型转换实战
LLaMA-7B · 脚本编写 · 错误排查
10
多卡模型转换
TP/PP · NCCL/GLOO · 通信配置
11
INT4/INT8量化转换
Weight-Only · KV Cache量化 · 校准
12
SmoothQuant技术
原理 · 实现 · 精度评估
13
AWQ量化方法
AWQ原理 · 集成 · 性能对比
14
GPTQ量化方法
原理 · 分组大小 · 推理速度
15
FP8混合精度转换
FP8格式 · TRT-LLM支持 · 精度验证
16
MoE模型转换
Mixtral 8x7B · 路由权重 · 负载均衡
17
视觉语言模型转换
LLaVA/InternVL · 视觉编码器 · 多模态
18
自定义算子注册
Plugin编写 · Kernel集成 · 调优
19
模型验证与测试
推理比对 · PPL/ROUGE/BLEU
20
性能基准测试
吞吐 · 延迟 · 显存 · 对比vLLM
21
动态批处理配置
inflight batching · 最大批处理 · 调度
22
KV Cache优化
PageAttention · 缓存计算 · 内存复用
23
模型服务化部署
Triton · gRPC/HTTP · 负载均衡
24
多模态模型部署
图像预处理 · 视频流 · 多轮对话
25
模型版本管理
多版本仓库 · 热加载 · A/B测试
26
日志与监控
日志级别 · Prometheus+Grafana
27
常见错误与调试
OOM · 算子不支持 · 精度异常
28
安全与合规
模型加密 · 访问控制 · 数据脱敏
29
生产环境最佳实践
高可用 · 故障转移 · 自动扩缩容
30
案例实战
HuggingFace→生产 · 端到端调优