01
推理引擎概述
什么是大模型推理引擎 · 在AI生态中的位置 · vLLM/TGI/TensorRT-LLM等主流引擎介绍
入门全景
02
核心概念与架构
通用架构 · 请求生命周期 · 动态批处理 & 连续批处理
架构批处理
03
模型加载与初始化
SafeTensors/GGUF格式解析 · 加载流程 · 权重初始化与内存映射
加载内存
04
KV Cache原理与优化
KV Cache本质 · 显存占用分析 · PageAttention与vLLM实现
显存vLLM
05
内存管理机制
显存池化管理 · 碎片整理 · Swap(CPU Offloading) · vLLM Block Manager
内存Swap
06
调度器设计
FCFS/优先级/抢占式调度 · vLLM Scheduler实现细节
调度vLLM
07
连续批处理
传统 vs 连续批处理 · Iteration-level调度 · 吞吐量提升原理
批处理吞吐
08
Prefix Caching
共享前缀原理 · RadixTree实现 · vLLM应用 · 命中率优化
缓存RadixTree
09
投机解码
原理与动机 · Draft Model · 验证机制 · TGI实现
解码TGI
10
量化推理
INT8/FP8/INT4量化原理 · 对推理引擎的影响 · AWQ/GPTQ集成
量化INT8
11
FlashAttention系列
标准Attention瓶颈 · V1/V2/V3原理 · 推理引擎集成
Attention加速
12
PagedAttention详解
vLLM核心创新 · Block Table管理 · 显存利用率提升 · 与FlashAttention协同
vLLM显存
13
分布式部署
张量并行 · 流水线并行 · 序列并行
分布式并行
14
通信优化
AllReduce & Ring Attention · NVLink/InfiniBand · 通信计算重叠
通信NVLink
15
请求路由与负载均衡
Ingress设计 · 请求分发 · 动态扩缩容 · 一致性哈希
路由负载
16
流式输出
Server-Sent Events · Token-by-Token · 客户端处理逻辑
流式SSE
17
采样策略实现
Top-K/Top-P/Temperature · Repetition Penalty · Beam Search
采样解码
18
Logits处理器
Logits处理流水线 · Bias注入 · 惩罚项 · 自定义Processor接口
Logits接口
19
推理引擎API设计
OpenAI兼容API · Streaming API · Function Calling · 多模态输入
APIOpenAI
20
多模态推理
视觉语言模型推理 · 音频推理 · 多模态输入处理 · Embedding对齐
多模态VLM
21
性能基准测试
Latency vs Throughput · TTFT/TPOT · LLMPerf/vLLM Bench
基准性能
22
Profiling与调优
NVIDIA Nsight Systems · Kernel Profiling · 算子融合 · 内存带宽分析
调优Nsight
23
推理引擎C++核心
CUDA Kernel编写 · 自定义算子注册 · Pybind11绑定
C++CUDA
24
vLLM源码分析 (上)
整体架构 · Entry Point · Engine/Worker · Model Runner
vLLM源码
25
vLLM源码分析 (下)
Scheduler · Block Manager · Attention Backend · Output Processing
vLLM调度
26
TGI源码分析
Rust核心 · Python Sharding · Warp & Token Streaming · Inference API
TGIRust
27
TensorRT-LLM架构
图优化 · Plugin系统 · Inflight Batching · C++ Runtime
TensorRT优化
28
部署实践
Kubernetes部署 · Helm Chart · GPU共享/MIG · 自动扩缩容
K8s部署
29
生产环境运维
日志监控 · Prometheus Metrics · 告警规则 · 故障排查
运维监控
30
未来趋势与挑战
MoE推理优化 · 长上下文推理 · 稀疏化推理 · 硬件协同 (Cerebras/Groq)
趋势MoE