大规模模型分布式推理
🎯 实战课程
📚 30 章 · 完整版
⚡ 从零到 100B 集群
01
分布式推理概述
为什么需要分布式
挑战
推理 vs 训练
02
模型并行基础
张量并行
原理与实现
03
流水线并行
GPipe
PipeDream
方案对比
04
数据并行推理
应用与局限性
05
混合并行策略
张量+流水线+数据并行
06
显存优化技术
KV Cache
PagedAttention
碎片整理
07
推理加速框架 (上)
vLLM 架构
核心特性
08
推理加速框架 (下)
TGI
TensorRT-LLM
Ray Serve
09
模型量化基础
INT8
FP8
INT4
精度影响
10
量化推理实战
GPTQ
AWQ
部署
11
稀疏化与剪枝
结构化剪枝
非结构化剪枝
12
Speculative Decoding
投机解码原理
加速效果
13
Continuous Batching
连续批处理
提升吞吐量
14
Prefix Caching
前缀缓存
减少重复计算
15
分布式通信原语
NCCL
Gloo
MPI
16
网络拓扑与带宽优化
NVLink
InfiniBand
RDMA
17
负载均衡与请求调度
动态路由
一致性哈希
Least Connections
18
容错与高可用设计
节点故障恢复
请求重试
优雅降级
19
推理服务化
FastAPI + Ray Serve
20
Kubernetes 部署推理
资源管理
自动扩缩容
Ingress
21
GPU 显存监控与性能
nvidia-smi
Nsight Systems
Profiler
22
推理延迟优化
算子融合
CUDA Graph
FlashAttention
23
多模态模型推理
LLaVA
Qwen-VL
分布式方案
24
MoE 模型推理
Mixtral 8x7B
专家并行
25
长上下文推理
Ring Attention
YaRN
位置编码扩展
26
边缘端分布式推理
模型分片
端侧协同
27
推理成本估算
Token 成本
GPU 小时
TCO
28
安全与隐私
模型加密
数据脱敏
TEE
29
大规模推理集群运维
日志收集
监控告警
CI/CD
30
综合实战
100B 模型分布式推理系统