⚡ vLLM 离线批量推理
30章 · 从入门到实战
📚 完整目录
30/30
🧩 友好色系
01
vLLM初识
PagedAttention · 连续批处理 · 对比HF Transformers
02
环境搭建
CUDA/PyTorch · pip安装 · Docker · 验证
03
离线推理基础
LLM类 · HF加载 · 单条生成 · 参数详解
04
批量推理入门
LLM.generate() · RequestOutput · 性能优势
05
采样参数深入
temperature/top_k/top_p · penalty · stop
06
Prompt模板与分词
Chat模板 · Tokenizer · 特殊Token处理
07
流式输出 (Streaming)
模拟流式 · StreamingOutputIterator · 实时日志
08
模型并行与张量并行
tensor_parallel_size · pipeline_parallel · 多GPU
09
量化推理
GPTQ/AWQ/FP8 · 量化加载 · 速度与精度
10
LoRA适配器加载
LoRA基础 · enable_lora · 多LoRA切换
11
多模态模型推理
视觉语言模型 · 图像输入 · 注意事项
12
API Server搭建
OpenAI兼容API · --api-key · 客户端调用
13
请求调度与队列
异步请求 · 优先级队列 · 并发限流
14
性能监控与日志
throughput/latency · Prometheus · 日志级别
15
批处理策略优化
Dynamic Batching · max_num_batched_tokens · 超时
16
缓存机制
KV Cache原理 · 自动管理 · 缓存预热/共享
17
长文本推理
128K上下文 · 滑动窗口注意力 · 内存优化
18
错误处理与重试
CUDA OOM · 异常捕获 · 自动重试 · 降级
19
结果保存与格式化
JSON/CSV导出 · 排序过滤 · BLEU/ROUGE
20
任务调度框架
concurrent.futures/asyncio · tqdm进度条
21
数据预处理
清洗格式化 · Prompt批量生成 · 数据分片
22
模型热加载与热更新
切换模型 · 版本管理 · A/B测试
23
安全与鉴权
API密钥 · 频率限制 · 内容安全过滤
24
分布式推理
Ray集成 · 跨节点通信 · 故障恢复
25
成本优化
按需/预付费 · GPU利用率 · 成本估算
26
CI/CD集成
GitLab CI/GitHub Actions · 自动化测试
27
大规模数据集处理
百万级Prompt · Datasets流式 · 断点续传
28
自定义模型支持
注册自定义架构 · config.json · 自定义分词器
29
vLLM与LangChain集成
LLM后端 · Chain/Agent批量调用
30
综合实战
端到端批量推理系统 · 监控告警