本地大模型·部署指南
📚 30 章 · 从入门到生产
v2.0
01
大模型时代来了
什么是大模型 · 本地部署 vs 云端API
➔
02
硬件选型与评估
GPU/显存/CPU/存储建议
➔
03
操作系统与环境准备
Ubuntu · NVIDIA驱动 · CUDA · cuDNN
➔
04
Docker基础与容器化部署
安装 · Dockerfile · Compose · 镜像加速
➔
05
模型文件格式与下载
GGUF/GPTQ/AWQ · Hugging Face · 国内镜像
➔
06
llama.cpp 部署实战
源码编译 · 量化加载 · API · 性能调优
➔
07
Ollama 一键部署
安装 · 模型拉取 · 自定义 · REST API
➔
08
vLLM 高性能推理
PagedAttention · 连续批处理 · OpenAI兼容
➔
09
Text Generation Inference
TGI部署 · 模型并行 · 张量并行 · 流式
➔
10
FastChat 多模型管理
控制器 · Worker · REST API · Web UI
➔
11
LocalAI 全能工具箱
多后端支持 · 模型管理 · API兼容
➔
12
模型量化技术详解
INT8/INT4 · AutoGPTQ · 精度与速度
➔
13
LoRA与微调模型部署
LoRA原理 · PEFT · 合并权重 · 部署
➔
14
API网关与负载均衡
Nginx反向代理 · 限流 · 健康检查
➔
15
监控与日志系统
Prometheus+Grafana · GPU指标 · ELK/Loki
➔
16
安全与鉴权
API Key · JWT · IP白名单 · HTTPS
➔
17
多GPU分布式部署
张量并行 · 流水线并行 · DeepSpeed
➔
18
CPU推理优化
Intel Extension · ONNX Runtime · OpenVINO
➔
19
边缘设备部署
Jetson · 树莓派 · 模型压缩与剪枝
➔
20
模型缓存与加速
KV Cache · Speculative Decoding · FlashAttention
➔
21
Prompt工程与系统提示词
System Prompt · Few-shot · 上下文窗口
➔
22
函数调用 (Function Calling)
OpenAI格式 · 本地模型 · 工具调用
➔
23
RAG 检索增强生成
向量数据库 · Embedding · 检索流程
➔
24
多模态模型部署
LLaVA · Qwen-VL · 图像理解 · 视频
➔
25
语音模型部署
Whisper · TTS · 实时语音对话
➔
26
代码模型与Agent部署
CodeLlama · DeepSeek-Coder · Agent框架
➔
27
性能基准测试
延迟/吞吐/并发 · vllm-bench
➔
28
高可用与容灾
主从切换 · 多副本 · K8s HPA · 故障恢复
➔
29
成本优化
Spot实例 · 模型蒸馏 · 缓存 · 按需扩缩
➔
30
生产环境最佳实践
架构设计 · CI/CD · 灰度发布 · 团队协作
➔