📘 TensorRT-LLM 部署
30章 · 从入门到生产
🚀 全流程实战
01
TensorRT-LLM 概述
核心优势
对比
适用场景
02
环境搭建
GPU/显存
CUDA/cuDNN
Docker
03
模型导出基础
HuggingFace
ONNX
TorchScript
04
TensorRT模型构建
Builder配置
网络定义
优化策略
05
LLM专属优化
FlashAttention
PageAttention
KV Cache
06
量化技术（上）
FP16/INT8/INT4
SmoothQuant
AWQ
07
量化技术（下）
GPTQ
FP8 (H100)
校准评估
08
模型编译与引擎生成
trtexec
动态形状
Profile
09
C++ Runtime部署
C++ API
内存管理
多流推理
10
Python Runtime部署
Python Bindings
异步推理
批处理
11
服务化部署（上）
FastAPI
请求队列
并发控制
12
服务化部署（下）
gRPC
流式输出
长连接
13
性能调优（上）
Nsight Systems
NVTX
瓶颈分析
14
性能调优（下）
算子融合
内存池
CUDA Graph
15
多GPU部署
TP/PP/SP
张量并行
流水线并行
16
分布式推理
NCCL
AllReduce
负载均衡
17
精度校准
校准数据集
KL散度
Per-tensor
18
模型安全
模型加密
防篡改
安全启动
19
监控与日志
Prometheus
Grafana
日志轮转
20
CI/CD集成
自动化流水线
版本管理
A/B测试
21
边缘端部署
Jetson
Tegra
功耗控制
22
云端部署
AWS/GCP/Azure
Spot实例
自动扩缩容
23
混合精度推理
FP8+FP16
动态切换
精度-性能
24
长序列推理
窗口注意力
稀疏注意力
ALiBi
25
LoRA适配器部署
权重合并
多LoRA切换
缓存优化
26
Speculative Decoding
草稿模型
验证策略
加速比
27
Prompt优化
Prefix Caching
压缩
模板引擎
28
故障排查
错误码
OOM
CUDA Error
29
生产环境最佳实践
健康检查
优雅关闭
灰度发布
30
综合实战
GPT/LLaMA/GLM
CI/CD
监控告警