TensorRT-LLM 多GPU推理
📚 30章实战
v1.0
01
课程导论
TensorRT-LLM
多GPU推理价值与挑战 · 前置知识
→
02
环境搭建
驱动·CUDA·cuDNN
TensorRT-LLM 源码编译与安装
→
03
LLM基础回顾
Transformer
自注意力 · KV Cache 原理
→
04
TensorRT核心
IR·层融合
精度校准 FP16/INT8/INT4
→
05
架构总览
组件·流程
TensorRT-LLM 插件系统
→
06
单GPU推理
LLaMA部署
性能基准测试实战
→
07
多GPU通信
NCCL库
All-Reduce / All-Gather / Reduce-Scatter
→
08
模型并行(上)
张量并行TP
原理与实现
→
09
模型并行(中)
流水线PP
原理与实现
→
10
模型并行(下)
SP·EP
序列并行与专家并行
→
11
TP实战
张量并行配置
通信拓扑优化
→
12
PP实战
流水线并行
微批次调度
→
13
混合并行
TP+PP+DP
3D并行设计
→
14
显存管理
KV Cache
显存池化 · 碎片处理
→
15
动态批处理
Continuous Batching
Inflight Batching
→
16
PagedAttention
vLLM核心
TensorRT-LLM 实现
→
17
量化与压缩
FP8/INT4
AWQ · GPTQ · SmoothQuant
→
18
推理服务化
gRPC/HTTP
多GPU推理服务构建
→
19
负载均衡
请求路由
动态分配GPU · 故障转移
→
20
性能调优(上)
Profiling
Nsight Systems · 瓶颈分析
→
21
性能调优(下)
算子优化
内存带宽 · 重叠计算与通信
→
22
多节点推理
跨节点通信
NVLink vs InfiniBand
→
23
稀疏化推理
2:4结构化
稀疏矩阵乘法优化
→
24
Speculative Decoding
投机解码
多GPU实现
→
25
MoE模型推理
专家路由
TensorRT-LLM MoE支持
→
26
长上下文推理
窗口注意力
ALiBi / RoPE · 位置编码优化
→
27
安全与隔离
多租户
GPU MIG · 安全推理
→
28
监控与日志
Prometheus
Grafana · 日志聚合
→
29
案例实战
70B 8卡A100
端到端性能测试
→
30
总结与展望
技术趋势
未来方向 · 学习路径建议
→