⚡ TensorRT-LLM ⚡ vs ⚡ vLLM
📘 性能对比实战 · 30章完整目录
🏆 低延迟
🚀 高吞吐
🧠 显存优化
📊 量化/部署
动手实战
选型指南
01
课程导论
为什么需要对比？核心定位与适用场景
02
环境准备
GPU驱动、CUDA、Docker搭建与验证
03
TensorRT-LLM初探
架构解析：Builder、Runtime、Plugin
04
vLLM初探
PagedAttention, Scheduler, KV Cache Manager
05
模型准备 · TRT-LLM
HuggingFace下载LLaMA并转换格式
06
模型准备 · vLLM
HuggingFace下载LLaMA并转换vLLM格式
07
构建引擎 FP16
trtllm-build 构建FP16引擎
08
构建引擎 INT4/INT8
trtllm-build 量化引擎构建
09
TRT-LLM 服务部署
Triton + TensorRT-LLM 模型加载
10
vLLM 服务部署
OpenAI 兼容 API 启动
11
性能指标定义
Throughput, TTFT, ITL, 显存占用
12
测试工具 · metrics
vLLM内置 /metrics 端点
13
压力测试工具
Locust / wrk 压测
14
自定义测试脚本
Python细粒度测量
15
单请求延迟对比
相同模型/输入，TTFT & ITL
16
并发吞吐量对比
并发1,4,8,16,32 吞吐量
17
批处理效果对比
动态批处理 (Dynamic Batching)
18
显存占用对比
nvidia-smi 监控显存峰值
19
量化效果对比
FP16 vs INT8 vs INT4 性能/精度
20
长序列场景对比
1024~4096 tokens 性能
21
多GPU推理对比
张量并行 (TP) 扩展效率
22
调度策略对比
PagedAttention vs Inflight Batching
23
稳定性测试
1h+ 性能抖动 & 内存泄漏
24
结果可视化 · 曲线
Matplotlib 延迟-并发曲线
25
结果可视化 · 柱状图
吞吐量-批大小柱状图
26
结果分析
解读数据，优劣势分析
27
选型建议
低延迟/高吞吐/长上下文推荐
28
生产化部署
Kubernetes 自动扩缩容
29
常见问题排查
启动失败、OOM、精度不对齐
30
课程总结与展望
MLA, Speculative Decoding 未来趋势