4、vLLM缓存配置：缓存参数详解、目录设置、大小控制与持久化

聊到vLLM的缓存，我得先坦白一件事。早期我部署大模型推理服务时，最头疼的就是每次重启Pod，模型都得重新加载一遍。那种感觉，就像你刚把行李搬上六楼，发现钥匙忘在车里了。后来我才意识到，缓存配置才是真正拉开性能差距的关键。

vLLM的缓存机制，说白了就是给模型推理过程加了个“记忆体”。它把计算过的中间结果存下来，下次遇到相同请求时直接复用。嗯，这里要注意，这个缓存不是模型权重本身，而是推理过程中的KV Cache——也就是Transformer里那些Key和Value的中间状态。

4.1 缓存参数详解

vLLM的缓存参数主要集中在启动命令和配置文件中。我个人习惯把这些参数分成三类：内存控制类、行为控制类、持久化控制类。

参数名	类型	默认值	说明
--gpu-memory-utilization	float	0.9	GPU显存用于缓存的比例
--max-num-seqs	int	256	最大并行序列数，直接影响缓存大小
--block-size	int	16	每个缓存块的大小（token数）
--swap-space	int	4	CPU内存交换空间大小（GB）
--kv-cache-dtype	str	auto	缓存数据类型，可选fp8/fp16

这里有个参数我特别想强调——--gpu-memory-utilization。我在项目中遇到过一位同事，为了省显存把这个值设成了0.5，结果模型推理速度直接腰斩。为什么？因为缓存空间不够，频繁触发缓存驱逐和重新计算。你想想看，省下来的显存全浪费在重复计算上了。

4.2 缓存目录设置

vLLM默认的缓存目录在~/.cache/vllm下。但在K8s环境里，这个路径会随着Pod销毁而消失。所以我们必须显式指定一个持久化目录。

设置方式很简单，通过环境变量VLLM_CACHE_DIR来控制：

# 在Pod的yaml中设置
env:
- name: VLLM_CACHE_DIR
  value: /data/vllm-cache

我曾经踩过一个坑：把缓存目录挂载到了临时卷（emptyDir）上。Pod重启后缓存全没了，等于白忙活。后来我改用PVC（持久卷声明），才真正解决了这个问题。

4.3 缓存大小控制

缓存大小控制，说白了就是平衡显存和性能。vLLM提供了两种控制方式：

1. 显存比例控制：通过--gpu-memory-utilization限制缓存占用的显存比例
2. 序列数量控制：通过--max-num-seqs限制同时处理的请求数

举个例子，假设你有一张A100 80GB显卡：

# 保守配置：留更多空间给模型权重
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-2-70b-hf \
  --gpu-memory-utilization 0.8 \
  --max-num-seqs 128

# 激进配置：最大化缓存利用率
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-2-70b-hf \
  --gpu-memory-utilization 0.95 \
  --max-num-seqs 512

我记得有一次线上事故，就是因为--max-num-seqs设得太大，导致OOM。嗯，这里要注意，这个参数不是越大越好。它受限于显存大小和模型参数量。我一般会先跑个压力测试，找到临界值再上线。

4.4 缓存持久化配置

在K8s环境里，缓存持久化是必须解决的问题。我推荐两种方案：

方案一：基于PVC的持久卷

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: vllm-cache-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 100Gi
  storageClassName: fast-ssd

然后在Deployment中挂载：

volumeMounts:
- name: vllm-cache
  mountPath: /data/vllm-cache
volumes:
- name: vllm-cache
  persistentVolumeClaim:
    claimName: vllm-cache-pvc

方案二：基于HostPath的本地缓存

如果你对性能要求极高，可以考虑HostPath。但要注意，这会让Pod与节点绑定：

volumes:
- name: vllm-cache
  hostPath:
    path: /mnt/vllm-cache
    type: DirectoryOrCreate

4.5 知识体系总览

下面这张图，是我梳理的vLLM缓存配置核心逻辑。你可以把它当作配置时的检查清单：

这张图把缓存配置拆成了四个维度。你配置的时候，按这个顺序来就行：先调参数，再设目录，然后控制大小，最后做持久化。每一步都有对应的K8s资源需要管理。

---

公众号:蓝海资料掘金营，微信deep3321