01
分布式推理概述
为什么需要分布式推理？单机瓶颈与分布式优势，课程全景图。
入门全景
02
模型分片基础
什么是模型分片？分片粒度（层、算子、张量），分片与并行的关系。
核心概念
03
张量并行 (TP)
原理与实现，以Transformer为例的列切分与行切分。
并行Transformer
04
流水线并行 (PP)
GPipe与PipeDream，微批次调度与气泡问题。
调度气泡
05
数据并行回顾
同步与异步，梯度累积，与模型分片的结合。
DP梯度累积
06
混合并行策略
3D并行（DP+TP+PP）的编排，实际案例（Megatron-LM）。
3D并行Megatron
07
分片策略选择
通信开销 vs 计算效率，如何根据模型大小和集群拓扑选择策略。
策略拓扑
08
通信原语与集合通信
All-Reduce、All-Gather、Reduce-Scatter，NCCL库简介。
NCCLAll-Reduce
09
分布式推理框架概览
DeepSpeed、Megatron、vLLM、TensorRT-LLM，各自特点。
框架对比
10
DeepSpeed Inference
ZeRO-Inference原理，CPU Offload与NVMe Offload。
ZeROOffload
11
vLLM架构
PagedAttention，KV Cache管理，连续批处理（Continuous Batching）。
PagedAttentionvLLM
12
TensorRT-LLM
图优化与内核融合，INT4/FP8量化推理，插件机制。
TensorRT量化
13
模型加载与分片
从HuggingFace加载模型，手动分片与自动分片（Accelerate）。
HuggingFaceAccelerate
14
服务化部署
使用FastAPI搭建推理服务，请求队列与并发控制。
FastAPI并发
15
负载均衡
轮询、最少连接、一致性哈希，Nginx与Kubernetes Service。
NginxK8s
16
动态批处理
调度策略，超时与最大延迟权衡。
Dynamic Batching
17
推理加速技术
FlashAttention、PageAttention、Speculative Decoding。
FlashAttention推测解码
18
量化推理
PTQ与QAT，W4A16与W8A8，量化对分片的影响。
PTQW4A16
19
KV Cache优化
共享前缀、跨请求缓存、内存池管理。
KV Cache内存池
20
分布式推理容错
节点故障检测，任务重试，Checkpoint恢复。
容错Checkpoint
21
性能基准测试
吞吐量、延迟、TTFT、TPOT，使用Locust与wrk压测。
压测Locust
22
监控与可观测性
Prometheus + Grafana，日志收集（ELK），链路追踪（Jaeger）。
PrometheusGrafana
23
GPU显存管理
显存碎片化，统一内存，显存交换（Swap）。
显存Swap
24
多节点推理
跨机器通信（RDMA vs TCP），网络拓扑感知调度。
RDMA多节点
25
边缘端分布式推理
模型裁剪、TFLite、ONNX Runtime，端侧分片。
边缘TFLite
26
安全与权限
模型加密，API鉴权（JWT），请求审计。
JWT安全
27
成本优化
Spot实例使用，弹性伸缩，冷启动与预热。
Spot弹性
28
实战案例1：70B模型部署
部署一个70B模型到4卡A100，使用TensorRT-LLM。
实战70B
29
实战案例2：高并发聊天服务
基于vLLM搭建高并发聊天服务，支持连续批处理。
vLLM聊天
30
总结与展望
未来趋势（MoE推理、稀疏计算、异构计算），课程回顾。
MoE趋势