LoRA微调 vs 全量微调 · 对比分析
📚 共计 24 章节
01
课程导论
为什么需要对比LoRA与全量微调？课程目标与学习路径。
🎯 方向
📌 必读
02
全量微调基础
什么是全量微调？基本原理与数学直觉。
🧠 原理
03
全量微调实战
在HuggingFace Trainer中实现全量微调一个BERT模型。
⚙️ 代码
🤗 HF
04
全量微调资源消耗
显存、时间、数据量需求分析。
💰 成本
📊 数据
05
全量微调优缺点
高精度、高成本、灾难性遗忘风险。
⚖️ 权衡
06
LoRA核心思想
低秩分解的本质，为什么它能工作？
💡 直觉
🔬 创新
07
LoRA数学原理
秩(r)、alpha、缩放因子，矩阵分解详解。
📐 数学
🧮 公式
08
LoRA参数配置
如何选择rank、alpha、target_modules？
🔧 调参
🎛️ 配置
09
LoRA实战入门
使用PEFT库对LLaMA进行LoRA微调。
🚀 实战
🦙 LLaMA
10
LoRA资源消耗
显存节省多少？训练速度提升多少？
⚡ 性能
📉 节省
11
LoRA优缺点
轻量、可插拔、多任务切换，但精度上限？
⚖️ 权衡
🔌 灵活
12
对比维度一：速度与显存
训练速度与显存占用（实验数据对比）。
📊 实验
⏱️ 性能
13
对比维度二：下游精度
GLUE、Eval基准测试对比。
🏆 基准
📈 精度
14
对比维度三：遗忘与泛化
灾难性遗忘与模型泛化能力。
🧠 记忆
🌐 泛化
15
对比维度四：多任务与部署
多任务适应性与模型部署灵活性。
📦 部署
🔄 多任务
16
对比维度五：数据效率
小样本场景下的表现。
📉 小样本
🎯 效率
17
LoRA变体
DoRA、AdaLoRA、LoRA+，它们改进了什么？
🧬 变体
🔁 进化
18
全量微调变体
Prefix Tuning、P-Tuning、Adapter对比。
🧩 方法
🔬 研究
19
混合策略
先全量后LoRA，或先LoRA后全量？
🔄 混合
🧪 实验
20
选择决策树
什么场景用LoRA？什么场景必须全量？
🌳 决策
🧭 指南
27
工业界案例
某推荐系统从全量迁移至LoRA的收益。
🏭 工业
📈 收益
28
学术界前沿
LoRA在多模态大模型中的应用。
🎓 前沿
🖼️ 多模态
29
常见误区
LoRA不是万能药，全量也不是过时技术。
⚠️ 误区
🧐 思辨
30
课程总结
一张表看懂所有对比维度，未来趋势展望。
📋 总结
🔭 趋势