一、vLLM 是什么？

先说说 vLLM 是什么吧。

vLLM 是一个专门为大语言模型推理加速的开源框架。说白了，它就是个帮你把大模型跑得更快、更省显存的工具。我最早接触它是在 2023 年，当时公司要上线一个对话机器人，用 HuggingFace 的 Transformers 直接推理，那叫一个慢，显存也吃紧。后来我试了 vLLM，效果确实惊艳。

它的核心定位很简单：高性能、易用、开源。你不需要改模型代码，把模型路径丢进去，它就能自动优化推理过程。

二、vLLM 的核心优势

2.1 PagedAttention：显存管理的革命

这个我得好好说说。PagedAttention 是 vLLM 最核心的创新，也是它区别于其他框架的关键。

传统推理框架是怎么处理显存的？它们会为每个请求预先分配一块连续的显存空间，用来存 Key-Value 缓存（也就是 KV Cache）。你想想看，这就像你去图书馆，管理员给你预留一整排书架，但你实际只用了一小格。剩下的空间全浪费了。

我在项目中遇到过这种情况：用 Transformers 跑一个 13B 的模型，batch size 稍微大一点，显存就爆了。后来一查，KV Cache 占了 70% 以上的显存，而且大部分是碎片化的空闲空间。

vLLM 的 PagedAttention 借鉴了操作系统的虚拟内存管理思路。它把 KV Cache 切成固定大小的「页」（Page），按需分配，不连续也没关系。就像内存分页一样，物理上不连续，逻辑上连续就行。

2.2 高吞吐：一个请求也是跑，一百个也是跑

vLLM 的第二个杀手锏是连续批处理（Continuous Batching）。

传统框架怎么做批处理？等一批请求攒够了，一起推理。这就有个问题：如果某个请求生成长文本，其他请求都等着它。就像排队打饭，前面那个人点了一桌子菜，后面的人只能干瞪眼。

vLLM 不一样。它能在推理过程中动态调整批次。一个请求生成了结束符，立刻把它踢出去，把新请求加进来。说白了，就是流水线作业，谁先完事谁先走。

我记得有一次压测，用 vLLM 跑 Llama 2 7B，并发 100 个请求，吞吐量能达到 1500 tokens/s 以上。换成 Transformers，同样条件下只有 200 左右。差了 7 倍多。

2.3 其他优势

• 兼容性好：支持 HuggingFace 格式的模型，不用改代码。我试过 Llama、Mistral、Qwen、ChatGLM 等主流模型，基本开箱即用。
• API 兼容 OpenAI：直接提供兼容 OpenAI 的 API 接口，迁移成本极低。你原来用 OpenAI 的代码，换个 base_url 就能用 vLLM。
• 前缀缓存：如果多个请求有相同的前缀（比如系统提示词），vLLM 会复用 KV Cache，进一步加速。这个在对话场景下特别有用。

三、vLLM 与传统推理框架对比

我整理了一张对比表，方便你直观感受差异。

对比维度	vLLM	HuggingFace Transformers	Text Generation Inference (TGI)
显存管理	PagedAttention，按页分配，利用率高	预分配连续空间，碎片化严重	静态分配，有一定优化
批处理方式	连续批处理，动态调整	静态批处理，等待所有请求完成	连续批处理，但实现不如 vLLM 精细
吞吐量	极高，5-10 倍于 Transformers	较低，受限于显存碎片	较高，但略低于 vLLM
延迟	低，尤其在高并发下	高，批处理等待时间长	中等
易用性	简单，几行代码启动	简单，但需要手动优化	中等，需要配置较多参数
社区活跃度	极高，更新频繁	极高，但推理优化非核心	较高，HuggingFace 官方维护

四、vLLM 的核心逻辑图

下面这张 SVG 图展示了 vLLM 的核心工作流程，从请求进入到结果返回，每一步都清晰可见。

这张图其实把 vLLM 的核心逻辑讲透了。请求进来，调度器分配资源，PagedAttention 管理显存，连续批处理动态执行，最后输出结果。每一步都环环相扣，缺一不可。

五、什么时候该用 vLLM？

我个人的经验是，只要满足以下任意一条，你就该考虑 vLLM：

• 你的模型参数量超过 7B
• 你的并发请求超过 10 个
• 你的显存比较紧张（比如只有 1-2 张卡）
• 你需要低延迟的在线推理服务

反过来，如果你只是本地跑个小 demo，或者模型参数量很小（比如 1B 以下），那用 Transformers 也够用。没必要杀鸡用牛刀。