大模型推理中的批处理策略设计

📚 共计 30 章节

批处理基础

什么是批处理 · 批处理与单样本推理对比 · 核心收益：吞吐量提升、资源利用率优化

吞吐量资源效率

批处理架构设计

请求队列与调度器 · 动态批处理 vs 静态批处理 · 批处理窗口与超时策略

调度器窗口策略

显存管理与批大小

显存瓶颈分析 · 最大批大小估算公式 · 显存碎片化与连续批处理

显存连续批处理

动态批处理算法

连续批处理 · In-flight 请求管理 · PagedAttention 与 vLLM 原理

vLLMPagedAttention

批处理调度策略

FCFS · 优先级调度 · 延迟感知调度 · 饥饿问题与公平性

公平性优先级

批处理与 KV Cache

KV Cache 共享 · Prefix Caching · RadixAttention 与自动前缀缓存

前缀缓存RadixAttention

批处理与模型并行

张量并行批处理 · 流水线并行微批次 · 序列并行与批处理结合

模型并行微批次

批处理性能调优

吞吐量 vs 延迟权衡 · 批大小与 TTFT · 预热与冷启动

批处理与量化

量化模型批处理特性 · INT4/INT8 加速 · FP8 批处理实践

批处理与投机解码

投机解码原理 · 批处理中投机验证 · 并行投机与批处理结合

投机解码并行验证

批处理与 MoE

MoE 批处理特性 · 专家负载均衡 · 动态路由与批大小调整

MoE负载均衡

批处理与长文本

长文本挑战 · 窗口注意力 · 环形注意力与批处理

长文本环形注意力

批处理与多模态

多模态批处理设计 · 视觉/文本 Token 混合 · 模态感知调度

多模态视觉Token

批处理与流式输出

流式批处理架构 · 逐 Token 调度 · 流式窗口设计

批处理与推理引擎

TensorRT-LLM 机制 · vLLM 实现 · TGI 架构对比

TensorRT-LLMTGI

批处理与分布式推理

跨节点批处理 · 数据并行批处理 · 模型并行全局批处理

分布式全局批处理

批处理与服务质量

SLA 感知调度 · 请求优先级与抢占 · 超时与重试机制

批处理与成本优化

GPU 利用率 · Token 成本 · 电力效率

成本电力效率

批处理与缓存策略

KV Cache 命中率优化 · 热点请求缓存 · 缓存感知调度

缓存命中热点

批处理与请求合并

请求合并策略 · Token级 vs 请求级合并 · 合并开销分析

批处理与内存池

内存池设计原理 · 预分配 vs 动态分配 · 碎片整理

内存池预分配

批处理与异步处理

异步批处理架构 · 生产者-消费者模型 · 回调与事件驱动

异步事件驱动

批处理与负载均衡

请求分发策略 · 负载感知批处理 · 自适应批大小

负载均衡自适应

批处理与容错

故障恢复 · 部分失败处理 · 幂等性与重放机制

容错幂等性

批处理与监控

指标采集 · 吞吐量与延迟监控 · 健康检查与告警

批处理与 A/B 测试

策略对比实验 · 在线/离线评估 · 渐进式发布

A/B测试渐进式

批处理与多租户

多租户隔离 · 租户级批处理策略 · 资源配额

多租户配额

批处理与边缘推理

边缘设备限制 · 轻量级批处理 · 离线批处理与同步

边缘轻量级

训练推理一体化批处理

训练/推理批处理差异 · 混合精度 · 梯度累积与批处理

混合精度梯度累积

批处理未来趋势

自适应批处理 · 学习型调度器 · 端到端优化 · AGI 推理