📘 大模型私有化部署
性能优化实战
30章 · 从入门到集群
1
01
大模型时代背景：从GPT到开源生态
为什么企业需要私有化部署？
2
02
硬件选型与成本分析
GPU · 内存 · 网络 · 存储
3
03
主流开源大模型介绍
LLaMA · ChatGLM · Qwen · Baichuan
4
04
模型量化技术
FP16 · INT8 · INT4 原理与速度精度
5
05
推理框架选型
vLLM · TGI · llama.cpp · TensorRT-LLM
6
06
vLLM深度实践
PagedAttention · 部署 · 性能调优
7
07
TensorRT-LLM实战
模型编译 · 插件 · 动态批处理
8
08
llama.cpp与本地部署
CPU推理 · 内存优化 · 移动端
9
09
模型并行策略
张量并行 · 流水线并行 · 数据并行
10
10
分布式推理架构
Ray Serve · FastAPI+vLLM · K8s
11
11
推理性能指标
TTFT · TPOT · ITL · 吞吐量
12
12
KV Cache优化
GQA · MQA · PageAttention
13
13
连续批处理
动态batching · inflight batching
14
14
模型服务化
OpenAI兼容 · 流式输出 · 函数调用
15
15
Prompt优化与缓存
前缀缓存 · 语义缓存 · 压缩
16
16
RAG系统集成
向量数据库 · Embedding · 检索增强
17
17
微调与部署联动
LoRA/QLoRA · 模型合并与部署
18
18
模型安全与合规
内容过滤 · 审计日志 · 数据脱敏
19
19
监控与可观测性
Prometheus+Grafana · 延迟 · 显存
20
20
负载均衡与自动扩缩
Nginx/HAProxy · K8s HPA
21
21
GPU显存管理
显存碎片化 · 复用 · 溢出处理
22
22
CPU Offloading技术
显存不足 · 层卸载到CPU
23
23
Speculative Decoding
投机解码 · 无损加速推理
24
24
Flash Attention
高效注意力 · 推理应用
25
25
模型蒸馏与剪枝
小模型替代 · 精度速度权衡
26
26
多模态模型部署
LLaVA · Qwen-VL · 视觉语言
27
27
国产硬件适配
昇腾 · 寒武纪 · 摩尔线程
28
28
成本优化案例
单机到集群 · 离线到在线
29
29
故障排查与应急
OOM · 显存泄漏 · 推理超时
30
30
未来趋势
Mamba · RWKV · 端侧大模型
✨ 点击卡片跳转对应章节 ✨