什么是vLLM
核心优势
与传统框架对比
适用场景
整体架构图
请求调度器
KV Cache管理器
PagedAttention
Worker与模型并行
硬件要求
Python环境配置
vLLM安装
启动服务
验证部署
什么是批处理
动态/静态批处理
批大小影响吞吐
延迟权衡
连续批处理原理
In-flight请求管理
调度策略
与普通批处理对比
FIFO调度
最短剩余时间优先
优先级调度
自定义调度实现
显存碎片问题
分页机制
块大小选择
与vLLM批处理协同
Cache命中率优化
前缀缓存
共享前缀加速
Cache驱逐策略
吞吐量定义
延迟与吞吐关系
监控指标
Prometheus集成
max_num_seqs
max_num_batched_tokens
调度窗口
参数组合实验
张量并行
流水线并行
并行度对批处理影响
通信开销分析
量化类型介绍
量化对吞吐影响
AWQ/GPTQ配置
量化与批处理协同
自动前缀缓存
手动前缀配置
缓存命中率提升
长上下文优化
推测解码原理
草稿模型选择
与批处理结合
加速效果评估
LoRA原理
vLLM多LoRA支持
LoRA与批处理调度
动态加载/卸载
LLaVA等模型支持
图像文本混合批处理
多模态批处理挑战
在线推理场景
离线批量推理
两种模式批处理差异
混合部署方案
测试方法论
常用基准数据集
测试脚本编写
结果分析与可视化
CPU瓶颈
GPU瓶颈
内存带宽瓶颈
I/O瓶颈
定位与解决
日志级别设置
关键日志解读
调试模式
常见错误排查
LangChain调用vLLM
批处理配置
链式调用优化
容器化部署
Kubernetes编排
自动扩缩容
灰度发布
GPU选择策略
批处理与成本关系
Spot实例使用
成本监控
vLLM路线图
新兴批处理技术
硬件发展趋势
行业应用前景
构建高吞吐推理服务
端到端优化流程
性能报告撰写
项目总结