📘 vLLM 自定义模型
适配·注册实战
🧑🎓 30章 · 从入门到生产
01
🧩
vLLM架构概览
核心组件 LLMEngine、ModelRunner、Worker 与自定义切入点
02
📋
模型注册机制
模型注册表 ModelRegistry 工作原理与注册新模型
03
⚙️
配置类定义
ModelConfig 参数定义、dtype 设置与内存管理
04
📦
权重加载器
自定义 WeightLoader，支持 HuggingFace / 本地 / 自定义格式
05
🏗️
模型架构适配
Attention、Layer 结构要求，适配标准接口
06
⚡
Attention后端选择
FlashAttention、PagedAttention 等后端选择与实现
07
💾
KVCache管理
PagedAttention 与 KVCache 高效内存管理
08
🔀
模型并行策略
Tensor Parallel / Pipeline Parallel 分布式推理配置
09
🔢
量化支持
GPTQ、AWQ、FP8 等量化，降低显存占用
10
🔤
自定义Tokenizer
注册与适配 Tokenizer，特殊 token 处理
11
🎛️
Sampling参数适配
SamplingParams 温度、top-k、top-p 等采样策略
12
📥
模型输入预处理
自定义 prompt 模板、多轮对话格式预处理
13
📤
模型输出后处理
logits 处理、token 解码、特殊 token 过滤
14
📊
性能Profiling
内置 profiling 工具分析推理瓶颈
15
⏳
Batch调度优化
Continuous Batching 机制与 batch 调度策略
16
🔁
Prefix Caching
启用 Prefix Caching 加速共享前缀推理
17
🚀
Speculative Decoding
投机解码原理与加速推理实现
18
🖼️
多模态模型适配
视觉语言模型（LLaVA）图像文本输入处理
19
🧠
MoE模型支持
MoE 架构适配与优化
20
⚡
自定义算子注册
算子注册机制与高效 CUDA kernel 编写
21
🔄
模型热加载与热更新
不重启服务动态加载/更新模型
22
📌
模型版本管理
版本控制、A/B 测试与模型回滚
23
📈
日志与监控
集成日志系统，监控延迟、吞吐量、错误率
24
🛡️
错误处理与容错
加载失败、OOM、推理异常等健壮处理
25
🧪
单元测试编写
覆盖加载、推理、性能等关键路径
26
🔧
集成测试与CI/CD
自动化测试流水线，确保稳定运行
27
🌐
OpenAI兼容API
暴露 chat completions / completions 端点
28
🖥️
多GPU部署
多GPU分布式推理与负载均衡
29
⚡
性能调优实战
端到端性能调优，提升推理速度
30
🏁
生产环境最佳实践
部署、监控、运维最佳实践总结