🚀 大模型微调与私有化部署
实战课程 · 30章
📘
友好色系 · 从入门到部署
01
大模型基础
从GPT到Llama，Transformer/Attention
02
环境准备
GPU选型·CUDA·Docker
03
数据工程
采集·清洗·JSON/Parquet
04
Prompt工程
Few-shot / Chain-of-Thought
05
LoRA原理
低秩适配数学原理
06
QLoRA实战
4-bit量化+LoRA · 24G显存
07
全参数微调
DeepSpeed ZeRO3 + 混合精度
08
P-Tuning v2
连续提示微调 · 小模型场景
09
微调框架选择
HF Transformers / PEFT / Axolotl / LLaMA-Factory
10
训练监控
W&B / TensorBoard · Loss分析
11
模型评估
BLEU/ROUGE · 人工评估设计
12
模型合并
LoRA合并 · HF格式导出
13
模型量化
GPTQ / AWQ / GGUF · 精度测试
14
推理框架
vLLM / TGI / llama.cpp
15
API封装
FastAPI · OpenAI兼容接口
16
流式输出
SSE流式对话
17
私有化部署
内网离线方案
18
Docker部署
Dockerfile + compose编排
19
Kubernetes部署
K8s + HPA自动扩缩容
20
负载均衡
Nginx反向代理 · 高并发
21
缓存策略
Redis缓存 · 降低延迟
22
安全防护
JWT鉴权 · Rate Limiting
23
日志与监控
ELK + Prometheus/Grafana
24
RAG系统
LangChain + Milvus/FAISS
25
Agent开发
LangChain / AutoGen · 工具调用
26
多模态微调
LLaVA架构 · 图文混合
27
模型蒸馏
GPT-4蒸馏 → Llama-7B
28
持续学习
增量微调 · 避免灾难性遗忘
29
成本优化
Spot实例 · 模型分片 · 缓存
30
项目实战
客服问答系统 · 微调+私有化部署