第1章
动态批处理概述
什么是动态批处理 · 为什么需要动态批处理 · 与静态批处理对比
核心概念入门
第2章
请求调度基础
调度目标 · FCFS/SJF/优先级 · 调度与批处理关系
调度策略基础
第3章
连续批处理
原理介绍 · 与经典批处理区别 · LLM推理应用
Continuous BatchingLLM
第4章
调度窗口与等待时间
调度窗口概念 · 等待时间影响 · 合理窗口设置
延迟调优
第5章
请求排队模型
队列数据结构 · FIFO/优先级/多级反馈队列
队列数据结构
第6章
批处理大小动态调整
基于负载/SLA/吞吐量的调整策略
弹性自适应
第7章
请求超时与丢弃策略
超时检测 · 优雅降级 · 重试与幂等性
可靠性容错
第8章
优先级调度实现
优先级定义 · 反转问题 · 继承协议
优先级并发
第9章
公平调度
公平性定义 · 最大最小公平 · DRF
公平资源分配
第10章
饥饿与死锁避免
饥饿原因 · 死锁四个条件 · 银行家算法
死锁操作系统
第11章
请求亲和性与局部性
数据局部性 · CPU亲和性 · NUMA感知
性能架构
第12章
负载均衡策略
轮询 · 最少连接 · 一致性哈希
负载均衡分布式
第13章
动态批处理中的内存管理
KV Cache管理 · 显存碎片化 · 内存池
显存vLLM
第14章
请求合并与拆分
合并收益 · 拆分场景 · Token级批处理
优化吞吐
第15章
调度器架构设计
中心化/去中心化 · 两层调度架构
架构设计模式
第16章
抢占式调度
可抢占与不可抢占 · 抢占开销 · 点选择
抢占实时
第17章
基于反馈的调度
闭环控制 · PID控制器 · 自适应调度
控制论自适应
第18章
多租户场景下的调度
租户隔离 · 资源配额 · 租户级QoS
多租户云原生
第19章
异构硬件下的调度
CPU/GPU/TPU · 资源抽象 · 设备选择
异构硬件
第20章
延迟/吞吐混合调度
请求分类 · 混合策略 · SLA保障
SLA混合负载
第21章
批处理中的显存优化
PagedAttention · vLLM调度 · 显存复用
显存PagedAttention
第22章
请求预填充与解码分离
Prefill-Decode分离 · 分离式调度 · 性能收益
分离架构LLM推理
第23章
Speculative Decoding调度
投机解码 · 验证器调度 · 批处理投机请求
投机解码加速
第24章
分布式推理中的调度
模型/数据并行 · 流水线并行 · 全局调度器
分布式并行
第25章
调度器性能评估指标
P50/P99延迟 · 吞吐量 · JCT · 公平性指标
指标评估
第26章
调度模拟器与基准测试
模拟器设计 · 基准测试集 · Profiling工具
模拟测试
第27章
生产环境调度实践
Kubernetes · GPU共享/MIG · 弹性伸缩
K8s生产
第28章
调度策略的在线学习
强化学习调度 · 在线优化 · 探索与利用
强化学习在线
第29章
安全与隔离
请求隔离 · 侧信道防御 · 安全策略
安全隔离
第30章
未来趋势与挑战
超大规模调度 · 绿色调度 · 存算一体
前沿趋势