📘 大模型部署运维 · 监控实战
🎯 30章 从入门到集群
1
大模型部署概述
发展简史
GPT/LLaMA/ChatGLM
显存·延迟·吞吐
2
硬件选型与资源规划
A100/H100/L40S
显存计算
CPU·内存·网络
3
模型量化技术
FP16/INT8/INT4
GPTQ·AWQ·GGUF
精度·性能权衡
4
推理框架选型
vLLM·TGI
TensorRT-LLM
llama.cpp·场景
5
vLLM部署实战
环境搭建·模型加载
API服务
max_num_seqs
6
TensorRT-LLM实战
ONNX转TRT
动态批处理
插件·基准测试
7
容器化部署
Docker镜像
Dockerfile
GPU映射·资源限制
8
Kubernetes编排
K8s集群·GPU节点
NVIDIA Plugin
Pod调度策略
9
模型服务化
RESTful API
gRPC·流式输出
SSE/WebSocket
10
负载均衡与网关
Nginx反向代理
Traefik·路由
限流·熔断
11
高可用架构
多副本·主备切换
健康检查
HPA/VPA
12
监控体系设计
监控分层
Counter/Gauge
Histogram
13
Prometheus监控
指标采集·Exporter
告警规则
Alertmanager
14
Grafana可视化
仪表盘·变量模板
告警面板
GPU监控面板
15
日志收集与分析
ELK/EFK栈
结构化日志
Filebeat/Fluentd
16
链路追踪
OpenTelemetry
Jaeger·Span
性能瓶颈定位
17
GPU监控
nvidia-smi·DCGM
显存·温度·利用率
异常检测
18
模型性能基准测试
吞吐量(tokens/s)
延迟(TTFT/TPOT)
Locust·wrk
19
成本优化
Spot实例
模型分片·缓存
冷热数据分离
20
安全与权限
JWT/API Key
网络隔离·模型加密
审计日志
21
CI/CD 持续集成部署
GitLab CI/CD
模型版本管理
灰度发布
22
模型热更新
无损热加载
版本切换·A/B
回滚机制
23
多模型管理
Model Registry
标签·元数据
模型生命周期
24
边缘部署
Jetson·树莓派
模型压缩
ONNX·TFLite
25
混合云部署
公有云+私有云
数据同步·专线
灾备方案
26
故障排查实战
OOM·显存泄漏
请求超时
推理错误·网络抖动
27
性能调优
算子融合·KV Cache
Flash Attention
PagedAttention
28
大规模集群管理
万卡集群调度
任务队列·配额
故障自愈
29
合规与伦理
数据隐私(GDPR)
内容安全·偏见
使用审计
30
未来趋势
MoE·多模态部署
Serverless推理
AI Infra演进