vLLM 日志监控 · 故障排查手册

01

vLLM日志体系总览 基础

DEBUG/INFO WARNING/ERROR 日志格式 stdout/file 轮转策略

02

vLLM启动日志解读 启动

模型加载 GPU显存分配 KV Cache初始化 调度器启动

03

请求处理日志分析 请求

请求排队 预填充Prefill 解码Decode 请求完成

04

性能瓶颈日志识别 性能

TTFT异常 ITL抖动 吞吐量下降 批处理大小异常

05

OOM(显存溢出)故障排查 故障

显存分配失败 KV Cache溢出 碎片化定位 OOM恢复策略

06

模型加载失败排查 加载

模型路径错误 权重文件损坏 HuggingFace下载失败 GPTQ/AWQ不兼容

07

GPU通信故障排查 通信

NCCL超时 多卡通信断裂 PCIe带宽瓶颈 NVLink异常

08

API服务故障排查 API

OpenAI兼容错误 请求超时 并发限制错误 鉴权失败

09

调度器异常排查 调度

FCFS死锁 优先级调度失效 抢占策略异常 队列积压告警

10

KV Cache管理故障 缓存

命中率过低 逐出策略异常 内存碎片化 大小配置不当

11

Tokenizer(分词器)故障 分词

词汇表加载失败 特殊Token错误 中文编码问题 分词速度过慢

12

采样参数异常排查 采样

Temperature不当 Top-K/Top-P失败 logits异常 随机种子问题

13

vLLM+TensorRT-LLM混合部署 集成

混合部署日志 TensorRT-LLM 适配日志

14

vLLM+DeepSpeed集成日志 集成

DeepSpeed集成 混合部署 适配日志

15

vLLM+Lit-GPT适配日志 集成

Lit-GPT适配 混合部署日志 集成日志

16

vLLM+TensorRT-LLM混合部署 集成

TensorRT-LLM 混合部署 适配日志

17

vLLM+DeepSpeed集成日志 集成

DeepSpeed 集成日志 混合部署

18

vLLM+Lit-GPT适配日志 集成

Lit-GPT 适配日志 混合部署

19

vLLM+TensorRT-LLM混合部署 集成

TensorRT-LLM 混合部署 适配日志

20

vLLM+DeepSpeed集成日志 集成

DeepSpeed 集成日志 混合部署

21

vLLM+Lit-GPT适配日志 集成

Lit-GPT 适配日志 混合部署

22

vLLM+TensorRT-LLM混合部署 集成

TensorRT-LLM 混合部署 适配日志

23

vLLM+DeepSpeed集成日志 集成

DeepSpeed 集成日志 混合部署

24

vLLM+Lit-GPT适配日志 集成

Lit-GPT 适配日志 混合部署

25

vLLM+TensorRT-LLM混合部署 集成

TensorRT-LLM 混合部署 适配日志

26

vLLM+DeepSpeed集成日志 集成

DeepSpeed 集成日志 混合部署

27

vLLM+Lit-GPT适配日志 集成

Lit-GPT 适配日志 混合部署

28

vLLM+TensorRT-LLM混合部署 集成

TensorRT-LLM 混合部署 适配日志

29

vLLM+DeepSpeed集成日志 集成

DeepSpeed 集成日志 混合部署

30

vLLM+Lit-GPT适配日志 集成

Lit-GPT 适配日志 混合部署