📘 vLLM 调度策略
动态批处理 · 30章
⭐
风格 · 全彩目录
01
vLLM概述
vLLM是什么
核心优势
与传统对比
架构总览
02
动态批处理基础
什么是动态批处理
静态 vs 动态
核心挑战
vLLM方案概览
03
PagedAttention机制
显存碎片问题
传统KV Cache
核心思想
逻辑页与物理页
04
Block Manager详解
Block Table
分配策略
回收与复用
内存池管理
05
请求调度策略概述
调度目标
调度决策点
vLLM调度器架构
06
FCFS调度策略
先来先服务原理
vLLM实现
优缺点
适用场景
07
SJF调度策略
短作业优先原理
预估请求长度
vLLM实现
优缺点
08
优先级调度策略
优先级队列设计
继承与反转
动态调整
vLLM实现
09
多级反馈队列调度
MLFQ基本原理
多级队列设计
反馈机制
vLLM实现
10
抢占式调度
请求抢占条件
暂停/终止
被抢占处理
开销分析
11
连续批处理
传统批处理问题
连续批处理原理
vLLM实现
性能收益
12
迭代级调度
请求级 vs 迭代级
调度时机
优势
vLLM细节
13
内存感知调度
显存约束
内存预算
基于内存决策
OOM预防
14
延迟感知调度
延迟目标
预测模型
延迟约束
SLA保障
15
吞吐量优化调度
最大化吞吐量
批大小动态调整
GPU利用率
权衡
16
请求排队与等待管理
请求队列结构
等待时间
超时处理
队列长度控制
17
负载均衡调度
多GPU负载均衡
请求分发
动态调整
热点避免
18
前缀缓存与调度
APC原理
前缀命中检测
缓存感知调度
性能影响
19
投机解码与调度
投机解码原理
投机窗口
调度影响
vLLM支持
20
多LoRA适配器调度
加载/卸载
适配器感知
缓存策略
性能优化
21
调度参数调优
max_num_batched_tokens
max_num_seqs
调度间隔
批大小上限
22
调度策略配置
配置文件解析
策略选择
动态切换
最佳实践
23
调度性能监控
TTFT/TPOT/ITL
监控工具
瓶颈定位
Profiling
24
调度日志与调试
日志解读
调试模式
问题排查
分析技巧
25
生产环境部署调度
高并发配置
QoS保障
弹性扩缩容
Kubernetes集成
26
调度策略对比实验
吞吐量对比
延迟对比
公平性对比
实验设计
27
vLLM源码调度模块分析
Scheduler类
add_request
schedule流程
数据结构
28
自定义调度策略开发
扩展接口
实现自定义
注册加载
测试验证
29
调度策略前沿研究
最新算法论文
学术界进展
与vLLM结合
未来趋势
30
综合实战：高吞吐低延迟推理服务
需求分析
策略选择
配置调优
性能测试
部署上线