一、课程导论：为什么需要对比LoRA与全量微调？课程目标与学习路径
1.1 一个真实的选择题
先讲个我自己的经历。
去年有个项目，客户要求把一个大模型适配到他们的客服场景。模型是70B的，光加载就占了300多G显存。团队里有人提议：「直接全量微调吧，效果肯定最好。」我当时就笑了——你想想看，70B全量微调，光训练就得8张A100跑两周，电费都够买台新车了。
后来我们用了LoRA，4张A100，两天搞定。效果呢？客户验收时甚至没发现我们「偷了懒」。
这个故事引出了今天的问题：什么时候该用LoRA？什么时候必须全量微调？
核心观点：LoRA和全量微调不是「谁替代谁」的关系，而是「看菜下饭」的选择题。
1.2 为什么你需要搞懂这个对比？
我见过太多人踩坑了。
- 有人迷信全量微调——花了几十万电费，结果发现效果和LoRA差不多
- 有人盲目用LoRA——模型在关键任务上表现拉胯，最后还得重来
- 更多人根本不知道怎么选——每次项目启动前都要纠结半天
说白了，这个对比分析能帮你回答三个问题：
- 我的场景适合哪种方法？——资源、数据、效果要求，三个维度一卡便知
- 两种方法到底差在哪？——不只是显存和速度，还有参数更新方式、泛化能力、灾难性遗忘等深层差异
- 有没有「两全其美」的方案？——比如先LoRA后全量，或者混合微调
我的建议：别把这两个方法对立起来。我最近一个项目就是先用LoRA快速验证方向，再用全量微调做最终优化。嗯，效果出奇的好。
1.3 课程知识体系总览
先给你一张图，看看我们这趟旅程的全貌：
1.4 课程目标：学完你能带走什么？
我不喜欢讲虚的。这门课的目标很具体：
| 目标 | 具体能力 | 对应章节 |
|---|---|---|
| 理解原理 | 能讲清楚LoRA的低秩分解为什么有效 | 第2-3章 |
| 动手实践 | 能用PEFT库跑通LoRA微调 | 第4-5章 |
| 效果评估 | 能设计实验对比两种方法的优劣 | 第6章 |
| 决策能力 | 面对新项目能快速判断用哪种方法 | 第7章 |
注意：别指望学完就能「一招鲜吃遍天」。我曾经在某个任务上全量微调效果比LoRA差了5个点，后来发现是学习率没调好。所以，对比分析不是给你标准答案，而是给你一套决策框架。
1.5 学习路径建议
我个人习惯把学习分成三个阶段：
- 第一阶段（第2-3章）：打基础——搞懂LoRA和全量微调的原理。别急着写代码，先理解「为什么LoRA能省显存」。
- 第二阶段（第4-5章）：动手干——跑通代码，调参，看效果。我建议你准备一个小数据集，两种方法都试一遍。
- 第三阶段（第6-7章）：做决策——学会评估和选择。这里我会分享一些实战中的「潜规则」。
一个小技巧：如果你时间有限，至少把第2章和第6章看完。前者让你理解本质，后者让你知道怎么选。其他章节可以按需查阅。
好了，导论就到这里。接下来我们直接进入正题——先看看全量微调到底是怎么工作的，它为什么「贵」得有道理。