📘 vLLM · HuggingFace
无缝集成实战
🎒 风格 · 30章全
01
vLLM初探
什么是vLLM？核心优势(PagedAttention, 连续批处理)与HuggingFace生态关系
进入章节 →
02
环境准备
安装vLLM、CUDA/PyTorch版本兼容性检查、验证安装
进入章节 →
03
HuggingFace模型加载基础
AutoModelForCausalLM、config.json与权重文件
进入章节 →
04
vLLM核心概念
LLM类与SamplingParams、异步(AsyncLLMEngine) vs 同步
进入章节 →
05
从HuggingFace到vLLM
直接加载HF模型(LLM)、自动下载与缓存机制
进入章节 →
06
模型转换与适配
支持架构(LLaMA, Mistral, Falcon…) 自动格式转换
进入章节 →
07
推理参数调优
temperature, top_p, top_k, max_tokens, frequency_penalty
进入章节 →
08
批量推理实战
批量文本生成、单条 vs 批量性能差异
进入章节 →
09
流式输出 (Streaming)
vLLM流式实现、与HF TextStreamer对比
进入章节 →
10
异步API服务
OpenAI兼容API服务搭建、客户端调用示例
进入章节 →
11
量化模型集成
GPTQ/AWQ量化加载、推理速度与精度影响
进入章节 →
12
LoRA/QLoRA适配器加载
加载HF LoRA权重(--lora-modules)、多LoRA切换
进入章节 →
13
多GPU推理
张量并行(tensor_parallel_size)与流水线并行
进入章节 →
14
性能基准测试
benchmark工具、vLLM vs 原生HF吞吐量(tokens/s)
进入章节 →
15
内存管理
KV Cache管理、max_num_seqs与max_model_len调优
进入章节 →
16
自定义模型注册
将HF不支持架构注册到vLLM (继承LLMEngine)
进入章节 →
17
模型热加载与卸载
动态切换模型、释放GPU显存
进入章节 →
18
日志与监控
日志级别设置、Prometheus监控延迟与吞吐量
进入章节 →
19
错误处理与调试
常见错误(OOM, 不兼容, 版本冲突)及解决方案
进入章节 →
20
多模态模型支持
视觉语言模型(LLaVA)集成、图像输入处理
进入章节 →
21
vLLM与HF Pipeline集成
封装为HuggingFace Pipeline、统一调用接口
进入章节 →
22
自定义采样策略
beam search, contrastive search等高级解码
进入章节 →
23
Prompt模板管理
tokenizer结合、自定义chat template
进入章节 →
24
分布式推理
使用Ray部署vLLM分布式推理集群
进入章节 →
25
vLLM与LangChain集成
LangChain中作为LLM后端、构建RAG应用
进入章节 →
26
模型缓存与加速
prefix caching特性、加速多轮对话
进入章节 →
27
安全与权限控制
API认证机制、请求频率限制
进入章节 →
28
生产环境部署
Docker部署vLLM、Kubernetes编排最佳实践
进入章节 →
29
vLLM社区与生态
Roadmap、与TGI (Text Generation Inference)对比
进入章节 →
30
综合实战项目
基于vLLM+HF的智能客服系统 (模型选择到API部署)
进入章节 →