01
LoRA微调概述
什么是LoRA · 核心思想（低秩分解）· 与全量微调对比 · 优势与适用场景
基础入门
02
LoRA数学原理
矩阵低秩分解 · 秩的概念 · 秩参数r · 权重更新 ΔW = BA · 前向/反向传播
数学核心
03
LoRA核心参数详解
秩r · Alpha缩放因子 · Dropout率 · Target Modules · Bias设置
参数调优
04
LoRA在Transformer架构中的应用
注意力QKV矩阵 · 输出投影 · FFN插入位置
Transformer
05
LoRA在LLaMA系列模型上的适配
LLaMA架构特点 · 注意力模块 · 配置实践 · 常见踩坑
LLaMA实战
06
LoRA在GPT系列模型上的适配
GPT架构 · 因果注意力+LoRA · GPT-2/GPT-Neo微调
GPT因果
07
LoRA在BERT系列模型上的适配
BERT架构 · 双向注意力+LoRA · BERT-base/RoBERTa分类
BERT分类
08
LoRA在T5系列模型上的适配
Encoder-Decoder · T5注意力 · T5-small/Flan-T5文本生成
T5生成
09
LoRA在视觉Transformer (ViT) 上的适配
ViT架构 · Patch Embedding+LoRA · ViT-B/16图像分类
ViT视觉
10
LoRA在Stable Diffusion上的适配
UNet架构 · Cross-Attention层 · SD 1.5/SDXL风格微调
SD扩散
11
LoRA在Whisper语音模型上的适配
Encoder-Decoder · 语音特征+LoRA · Whisper-small语音识别
Whisper语音
12
LoRA在多模态模型 (LLaVA) 上的适配
视觉编码器与语言模型桥接 · LLaVA-1.5视觉问答
多模态LLaVA
13
LoRA与QLoRA (量化LoRA)
4-bit NormalFloat · 双重量化 · 分页优化器 · 显存优势
量化QLoRA
14
LoRA与DoRA (权重分解LoRA)
权重幅度与方向解耦 · DoRA数学原理 · 性能对比
DoRA分解
15
LoRA与AdaLoRA (自适应秩分配)
SVD分解 · 重要性度量 · 自适应秩预算 · 低资源优势
AdaLoRA自适应
16
LoRA与Delta-LoRA
参数增量更新 · 与标准LoRA差异 · 持续学习场景
Delta增量
17
LoRA与LoRA-FA (冻结适配器)
冻结预训练权重 · 仅训练适配器 · 联邦学习应用
LoRA-FA联邦
18
LoRA与PiSSA
奇异值分解初始化 · 与LoRA初始化对比 · 收敛加速
PiSSASVD
19
LoRA微调的数据准备
Alpaca/ShareGPT格式 · 数据清洗去重 · 增强 · 指令构建
数据预处理
20
LoRA微调的超参数调优
学习率策略 · Batch Size · 优化器(AdamW/SGD) · 权重衰减
超参数调优
21
代码实战 (Hugging Face PEFT)
PEFT安装 · LoraConfig · get_peft_model · 保存与加载
PEFT代码
22
代码实战 (Unsloth)
Unsloth安装 · 2x加速 · 显存优化 · 配置LoRA
Unsloth加速
23
代码实战 (Axolotl)
YAML配置 · 多GPU训练 · DeepSpeed ZeRO · 微调LLaMA
Axolotl分布式
24
LoRA微调的分布式训练
DDP · FSDP · DeepSpeed Stage 2/3 · 多节点配置
分布式DDP
25
LoRA微调的评估与测试
困惑度 · BLEU/ROUGE · 人工评估 · A/B测试
评估指标
26
LoRA微调的模型合并与部署
权重合并 · GGUF导出 · vLLM/Ollama部署 · 推理优化
部署GGUF
27
LoRA微调的过拟合与欠拟合
早停/正则化 · 增加秩/数据 · 验证集监控
过拟合欠拟合
28
LoRA微调的灾难性遗忘问题
EWC+LoRA · 经验回放 · 多任务LoRA
遗忘EWC
29
实际项目案例 (文本分类)
需求分析 · 数据准备 · LoRA配置 · 训练评估 · 部署上线
项目分类
30
实际项目案例 (图像生成)
需求分析 · 数据准备 · LoRA配置 · 训练评估 · 部署上线
项目生成