📘 vLLM 多GPU负载均衡
30章
⚡ 风格 · 紧凑目录
01
vLLM简介与多GPU架构
vLLM是什么
多GPU
PagedAttention
通信基础
02
环境准备与依赖安装
CUDA驱动
PyTorch
源码编译
验证安装
03
Tensor Parallelism (TP) 基础
TP概念
张量切分
all-reduce
配置参数
04
Pipeline Parallelism (PP) 基础
PP概念
微批次
PP vs TP
配置参数
05
数据并行 (DP) 与推理
DP角色
vLLM实现
DP+TP/PP
组合策略
06
负载均衡核心指标
吞吐量
延迟
GPU利用率
显存均衡度
07
vLLM配置参数详解
tensor_parallel_size
pipeline_parallel_size
max_num_seqs · gpu_memory_utilization
08
自动负载均衡策略
内置调度器
请求排队
动态批处理
Dynamic Batching
09
手动负载均衡策略
模型大小切分
请求类型路由
权重分配
10
多节点部署与网络优化
InfiniBand vs Ethernet
RDMA
NCCL调优
11
显存管理与优化
KV Cache
显存碎片
swap策略
显存池机制
12
性能监控与诊断工具
nvidia-smi
nvtop
vLLM metrics
Prometheus+Grafana
13
常见负载不均问题
显存倾斜
计算倾斜
通信瓶颈
请求热点
14
案例一：单机8卡LLaMA-70B
TP=8
性能调优
实测数据
15
案例二：双机16卡Mixtral 8x7B
TP=8 PP=2
跨节点通信
优化
16
案例三：高并发负载均衡
请求调度
队列深度
限流配置
17
vLLM与推理框架集成
HuggingFace
Triton
Ray Serve
集成
18
高级话题：量化与负载均衡
FP8/INT4
显存计算影响
量化后负载再均衡
19
高级话题：Speculative Decoding
推测解码
GPU负载影响
配置建议
20
Prefix Caching与负载均衡
自动前缀缓存
跨请求共享
显存节省
21
故障排查与恢复
GPU掉线
OOM恢复
断点续推
日志分析
22
性能基准测试方法
vLLM benchmark
自定义压测
结果解读
23
vLLM最新特性与负载均衡
Chunked Prefill
Async Output
Multi-step Scheduling
24
成本优化
GPU选型
按需分配
Spot实例
成本性能平衡
25
安全与权限
多用户隔离
API鉴权
速率限制
资源配额
26
vLLM与Kubernetes部署
K8s资源
GPU调度
自动扩缩容
服务发现
27
vLLM与云原生生态
Docker镜像
Helm Chart
Operator
CI/CD
28
未来趋势
vLLM发展方向
多GPU新技术
社区动态
29
综合实战：生产级推理服务
需求分析
架构设计
部署实施
监控告警
30
课程总结与资源推荐
核心知识点
推荐阅读
社区资源
FAQ