🧩 TensorRT-LLM 避坑指南
📚 30章 · 生产环境实战
⭐ 友好色系
01
初识与架构
TensorRT-LLM 是什么，核心组件（引擎/插件/运行时），大模型推理定位
02
环境准备与依赖安装
CUDA/cuDNN/TensorRT 版本匹配，Docker 镜像，pip 安装常见坑
03
模型导出与 ONNX 转换
HuggingFace 导出，算子兼容性，动态 shape，ONNX 转 TensorRT 踩雷
04
引擎构建 (trtexec)
trtexec 详解，--fp16/--int8/--workspace，显存爆炸问题
05
Python API 入门
Engine 加载、Context、输入输出绑定，最简单推理示例
06
动态 Shape 与显存管理
动态 batch/序列长度噩梦，显存池化与碎片整理策略
07
精度校准与 INT8/FP8 量化
校准数据集选择，过拟合，INT8 精度下降排查
08
插件开发与自定义算子
插件机制，FlashAttention 插件编写，注册与调试
09
多 GPU 与多节点部署
Tensor Parallelism / Pipeline Parallelism，NCCL 配置调优
10
服务化封装与 gRPC/HTTP
Triton 封装，请求排队与并发控制
11
性能 Profiling 与瓶颈分析
Nsight Systems/Compute，GPU 利用率低定位
12
显存泄漏排查与内存优化
生产环境显存泄漏，cuda-memcheck / Valgrind 排查
13
模型加载与热更新
不重启热加载，版本管理，回滚策略
14
日志与监控体系
日志级别，Prometheus + Grafana 监控延迟/吞吐/显存
15
安全性与沙箱隔离
模型文件校验，防止恶意 ONNX，容器安全最佳实践
16
CI/CD 与自动化测试
自动化引擎构建，精度回归，性能基准，测试框架
17
常见错误码与解决方案
错误码 1/2/3/4 含义，排查手册
18
稀疏化与模型剪枝
NVIDIA 稀疏化技术，利用稀疏性加速，精度/速度权衡
19
Attention 机制优化
FlashAttention / PagedAttention 原理与集成，显存节省实测
20
KV Cache 管理与优化
显存占用分析，缓存淘汰，动态 KV Cache 分配方案
21
连续批处理 (Continuous Batching)
原理，与静态批处理对比，配置与效果
22
Speculative Decoding
投机解码原理，小模型辅助加速，项目加速比
23
LoRA 与 Adapter 部署
权重合并/分离部署，多 Adapter 动态切换，加载冲突
24
多模态模型部署 (LLaVA 等)
视觉编码器+语言模型联合部署，特征对齐与数据流
25
流式输出与 WebSocket
Token 流式输出，WebSocket 长连接，前端 SSE 对接
26
A/B 测试与灰度发布
双版本对比，流量切分，灰度发布方案
27
灾难恢复与高可用
主备切换，模型备份，磁盘故障恢复经历
28
成本优化与弹性伸缩
K8s 自动扩缩容，GPU 实例选择，Spot 实例经验
29
边缘端部署 (Jetson)
Jetson Orin 部署，功耗/性能平衡，驱动兼容性
30
未来展望与社区生态
Roadmap，社区贡献指南，参与开源心得