01
LoRA基础概念
什么是LoRA · 低秩分解原理 · 与传统微调区别 · 优势与局限
原理入门
02
环境搭建
Python · PyTorch · Transformers · PEFT · GPU验证
配置工具
03
模型加载与基础使用
HuggingFace下载 · AutoModel · Tokenizer · 推理测试
推理加载
04
数据集准备
格式要求 · 本地加载 · 预处理Pipeline · Train/Test拆分 · DataLoader
数据预处理
05
LoRA配置参数详解
r(秩) · alpha缩放 · target_modules · dropout · bias
参数调优
06
PEFT库核心API
LoraConfig · get_peft_model · PeftModel · 保存/加载/合并
APIPEFT
07
训练流程搭建
TrainingArguments · Trainer · 自定义循环 · 损失函数 · 优化器
训练流程
08
文本分类任务实战
任务定义 · 数据准备 · LoRA配置 · 训练 · 评估 · 结果分析
实战分类
09
文本生成任务实战
Prompt设计 · LoRA配置 · 生成策略 · 温度调优 · 质量控制
生成实战
10
对话模型微调
对话数据格式 · 多轮处理 · 角色标记 · 回复生成 · 质量评估
对话微调
11
代码生成模型微调
代码数据集 · 语法保持 · 代码补全 · 代码审查 · 测试用例
代码生成
12
多模态模型LoRA微调
CLIP · 图像编码器 · 文本编码器 · 图文匹配 · 跨模态检索
多模态CLIP
13
参数高效微调对比
LoRA vs Adapter/Prefix/Prompt/IA3 · 选择策略
对比高效
14
秩r的选择策略
r值影响 · 经验法则 · 网格搜索 · 自适应秩 · 资源约束
秩调优
15
目标模块选择策略
Attention层 · FFN层 · 全层 · 分层 · 任务相关选择
模块策略
16
学习率与调度策略
学习率范围 · 余弦退火 · 线性调度 · warmup · 重启动
学习率调度
17
过拟合与欠拟合处理
过拟合识别 · 正则化 · 早停 · 数据增强 · 模型简化
过拟合正则
18
多GPU训练与分布式
DataParallel · DDP · 梯度累积 · 混合精度 · 通信优化
分布式GPU
19
模型量化与部署
量化原理 · bitsandbytes · 4bit · 模型导出 · ONNX · 推理优化
量化部署
20
LoRA模型合并与导出
权重合并 · merge_and_unload · SafeTensors · HuggingFace上传 · 版本
合并导出
21
推理优化技术
KV Cache · Flash Attention · 批处理 · 动态批处理 · 服务化
推理加速
22
评估与基准测试
评估指标 · 基准数据集 · 人工评估 · 自动化评估 · 对比实验
评估基准
23
错误分析与调试
常见错误 · 梯度检查 · 损失曲线 · 中间层输出 · 调试工具
调试错误
24
版本控制与实验管理
实验记录 · 超参数管理 · 模型追踪 · 结果对比 · 复现性
版本实验
25
LoRA变体介绍
DoRA · LoRA+ · LoRA-FA · VeRA · Delta-LoRA · 适用场景
变体进阶
26
领域适应实战
医疗 · 法律 · 金融 · 技术文档 · 领域数据构建
领域适应
27
多任务LoRA微调
任务Adapter · 共享Adapter · 任务路由 · 多任务训练 · 冲突解决
多任务Adapter
28
持续学习与增量微调
灾难性遗忘 · 经验回放 · 弹性权重巩固 · 渐进式扩展 · 在线学习
持续学习增量
29
生产环境部署
模型服务框架 · API设计 · 并发 · 监控告警 · A/B测试 · 灰度
部署生产
30
综合项目实战
需求分析 · 数据收集 · 模型选择 · LoRA配置 · 训练调优 · 评估部署 · 总结
项目综合