📘 vLLM · Prometheus 监控实战
30章
🎯 友好 · 明快色彩 · 从入门到生产
⚡ 指标接入
vLLM + Prometheus
01
课程导论
vLLM简介
为什么监控
Prometheus概述
学习路径
02
vLLM基础架构
Scheduler
Block Manager
KV Cache Manager
PagedAttention
03
vLLM部署与配置
启动参数详解
max_num_seqs
max_model_len
gpu_memory_utilization
04
Prometheus基础入门
Pull模型
TSDB
Metric/Label/Sample
PromQL基础
05
Prometheus部署
Server安装
Target配置
Scrape Interval
数据持久化
06
Grafana可视化入门
Grafana安装
数据源配置
Dashboard创建
Panel类型
07
vLLM内置指标总览
指标列表
命名规范
Counter
Gauge · Histogram
08
请求吞吐量监控
num_requests_running
num_requests_waiting
吞吐量计算
监控面板
09
KV Cache使用率监控
gpu_cache_usage_perc
KV Cache与显存
缓存命中率
10
GPU显存监控
gpu_memory_used_bytes
gpu_memory_total_bytes
显存碎片化
11
请求延迟监控
request_prompt_tokens
request_generation_tokens
TTFT / TPOT
12
批处理与调度监控
num_preemptions
num_swapped_blocks
调度延迟
批处理大小
13
vLLM日志与指标关联
日志级别设置
结构化日志
日志指标关联
14
自定义指标开发(一)
源码结构
MetricsCollector
注册Counter/Gauge
15
自定义指标开发(二)
Histogram指标
标签设计
注册与暴露
16
自定义指标开发(三)
请求流程埋点
异步指标更新
性能开销优化
17
Prometheus告警规则
ALERT语法
expr/for/labels
高延迟告警
低缓存命中率
18
Alertmanager配置
Alertmanager安装
路由配置
Receiver配置
抑制与分组
19
告警通知集成
邮件告警
企业微信/钉钉
告警模板定制
20
Grafana高级面板
Stat面板
Gauge面板
Table/Time series
Bar gauge
21
Grafana Dashboard设计
Variables变量
模板化Dashboard
JSON模型导入导出
22
多实例vLLM监控
指标聚合
Prometheus联邦
全局视图Dashboard
23
vLLM与Node Exporter集成
Node Exporter部署
CPU/内存/网络/磁盘
系统指标关联
24
vLLM与NVIDIA GPU Exporter
DCGM Exporter
GPU温度/功率
利用率关联
25
性能基准测试与监控
vLLM benchmark脚本
监控指标对比
性能瓶颈定位
26
生产环境监控最佳实践
采集频率优化
指标保留策略
数据高可用
27
监控排障实战
OOM/超时/死锁
指标表现
根因分析
28
vLLM与OpenTelemetry集成
OpenTelemetry架构
Trace与Metric关联
Jaeger/Tempo
29
监控安全与权限
Prometheus认证/HTTPS
Grafana RBAC
指标访问控制
30
课程总结与展望
监控体系回顾
vLLM v2新特性
AI Infra可观测性
推荐资源