📘 vLLM · OpenAI API 实战
30章 从入门到生产
📚 目录
30 / 30
✨ 友好
01
vLLM初识
核心优势
PagedAttention · 连续批处理 · 与传统框架对比
→
02
环境搭建
GPU·Docker
CUDA安装 · Docker配置 · 源码编译与pip安装
→
03
快速启动
文本生成
加载模型 · 输出格式 · 启动参数解析
→
04
OpenAI API兼容性
概览
端点列表 · 兼容性矩阵 · 为什么兼容
→
05
Chat Completions
实战
/v1/chat/completions · 流式 · temperature调优
→
06
Completions API
实战
/v1/completions · prompt工程 · 应用场景
→
07
Embeddings API
向量化
/v1/embeddings · 文本向量 · 语义搜索
→
08
Models API
模型管理
/v1/models · 模型列表 · 元数据解析
→
09
Tokenize & Detokenize
Token计数
/v1/tokenize · 成本估算 · 自定义tokenizer
→
10
API Key认证
安全
Key生成 · 请求认证 · 多用户权限控制
→
11
速率限制与并发
队列
请求队列 · 最大并发 · 客户端重试
→
12
模型加载与卸载
热切换
异步加载 · GPU内存管理 · 多模型策略
→
13
量化模型部署
GPTQ/AWQ
量化加载 · 推理性能 · 精度权衡
→
14
LoRA适配器管理
动态切换
LoRA原理 · 加载适配器 · 多LoRA并发
→
15
多GPU推理
并行
张量并行 · 流水线并行 · 多节点部署
→
16
服务化部署
生产配置
OpenAI API服务器 · 健康检查 · 日志
→
17
Docker部署
实战
Dockerfile · 多阶段构建 · Compose
→
18
Kubernetes部署
K8s
Deployment · Service · 自动扩缩容
→
19
性能调优
KV缓存
批处理 · 前缀缓存 · 算子融合
→
20
监控与日志
Prometheus
指标暴露 · Grafana · 告警配置
→
21
客户端SDK开发
封装
Python客户端 · 异步 · 连接池
→
22
错误处理与调试
排查
HTTP错误 · OOM · 性能瓶颈定位
→
23
安全加固
防护
内容过滤 · 输出检测 · API网关
→
24
多模态模型支持
视觉
视觉模型 · 图像理解 · 多模态展望
→
25
自定义采样参数
调优
top_k · repetition_penalty · logit_bias
→
26
函数调用
Function Calling
协议实现 · 结构化输出 · 业务集成
→
27
流式输出深入
SSE
SSE协议 · 自定义流式 · 中断恢复
→
28
成本控制与计费
Token统计
用量统计 · 按需计费 · 配额管理
→
29
生产环境最佳实践
高可用
灰度发布 · A/B测试 · 灾备容错
→
30
综合项目实战
对话系统
AI对话 · vLLM后端 · 前端联调 · 性能报告
→