🧩 大模型微调·全流程实战
领域适配30讲
友好色系
1
大模型基础与微调概述
GPT/BERT
什么是大模型、微调 vs 预训练、GPT/BERT/T5架构简介
2
环境搭建与工具链
⚙️
Python、PyTorch/TF、CUDA、Transformers、W&B
3
数据准备与预处理
📂
数据收集/清洗/标注、Tokenizer、数据集划分
4
Prompt Engineering基础
💬
硬/软提示、Few-shot、CoT、模板设计原则
5
LoRA微调原理
📐
低秩分解、超参数rank/alpha、数学推导简化
6
LoRA实战
PEFT
Hugging Face PEFT、训练循环、保存/加载
7
QLoRA与量化微调
4-bit
NormalFloat、Double Quant、Paged Optimizers
8
P-Tuning & Prefix Tuning
🎛️
v1/v2、Soft Prompt、与LoRA异同
9
Adapter微调方法
🔌
Series/Parallel、AdapterFusion、Drop
10
全量微调
⚡
显存优化、Gradient Checkpointing、DDP/FSDP
11
指令微调
📋
Self-Instruct、Alpaca、ShareGPT、评估
12
RLHF与DPO
🤖
SFT+RM+PPO、DPO原理、对比
13
领域适配策略
🌐
通用vs领域、渐进式微调、多阶段流程
14
医疗领域适配
🏥
病历/文献、术语、HIPAA、QA案例
15
法律领域适配
⚖️
法条/判例、逻辑推理、长文本、文书生成
16
金融领域适配
📈
研报/新闻、数值推理、风险控制、情感分析
17
代码生成领域适配
💻
GitHub数据、CodeLlama、StarCoder、代码审查
18
多模态领域适配基础
🖼️
LLaVA、BLIP-2、视觉编码器、指令微调
19
模型评估与基准测试
📊
BLEU/ROUGE、MMLU、HumanEval、lm-eval
20
过拟合与灾难性遗忘
🧠
EWC、Replay、正则化、知识蒸馏
21
超参数调优
🎯
学习率、Batch、Warmup、网格/贝叶斯搜索
22
分布式训练与加速
🚀
DDP/TP/PP、ZeRO、DeepSpeed实战
23
模型合并与集成
🔀
Model Soup、TIES、DARE、多模型集成
24
模型量化与部署
📦
PTQ/QAT、GPTQ、AWQ、vLLM、Triton
25
模型安全与对齐
🛡️
红队测试、越狱防御、RLHF安全、隐私
26
持续学习与模型更新
🔄
增量微调、数据漂移、版本管理、回滚
27
实验管理与复现
🧪
W&B/MLflow、随机种子、Docker、配置
28
成本优化与资源规划
💰
GPU选型、云端vs本地、Spot实例、成本估算
29
前沿趋势与未来方向
🔭
Mamba、MoE、长上下文、Agent、端侧
30
综合实战：领域问答助手
🎓
从零构建：需求→数据→选型→微调→部署