4. 微调成本测算：全量微调 vs LoRA/QLoRA、参数量与显存关系、微调步数与成本曲线
微调成本，说白了就是「用多少钱换多少效果」。我见过太多团队一上来就全量微调，结果显存爆了、时间花了、效果还没出来。今天咱们就把这笔账算清楚。
4.1 全量微调 vs LoRA/QLoRA：三种路线的成本对比
先看一张我手绘的对比图，帮你快速建立认知：
我个人习惯把选择逻辑总结成一句话：能用LoRA就别全量，能用QLoRA就别硬上。但这不是绝对的，得看你的场景。
4.2 参数量与显存关系：算清楚这笔账
显存消耗到底怎么算？我直接给公式：
显存 ≈ 模型参数量 × 精度字节数 × (模型权重 + 优化器状态 + 梯度 + 激活值)
以 LLaMA-7B 为例（全量微调，float32）：
- 模型权重：7B × 4字节 = 28GB
- 优化器状态（Adam）：7B × 8字节 = 56GB
- 梯度：7B × 4字节 = 28GB
- 激活值：约 20-40GB（取决于batch size）
- 总计：约 132-152GB
用 LoRA（r=8）：
- 可训练参数：约 0.1% × 7B = 7M
- 显存需求：约 16-24GB（冻结主模型）
关键结论：全量微调的显存需求是模型权重的 4-5 倍。而 LoRA 只需要保存主模型权重 + 少量可训练参数，显存直接砍到 1/5 到 1/10。
我在项目中遇到过最典型的坑：有人用 4 张 A100（80GB）去全量微调 LLaMA-13B，结果 OOM 了。为什么？因为没算激活值。batch size 设成 16，激活值直接吃掉 60GB，加上权重和优化器状态，4 张卡根本扛不住。
4.3 微调步数与成本曲线
成本不只是显存，还有时间。我画了条曲线，你一看就明白：
看到没？效果曲线在 800 步左右开始变平，但成本曲线还在往上冲。这就是典型的「边际收益递减」。我建议你：
- 前 500 步：效果提升最快，成本可控
- 500-1000 步：效果还在涨，但速度放缓
- 1000 步以后：每提升 1% 效果，成本翻倍
我的经验：LoRA 微调一般 500-1000 步就够了。全量微调可能需要 2000-5000 步。但别盲目追求步数，我见过有人跑了 10000 步，效果反而下降了——过拟合了。
4.4 实战成本测算表
给你一张我常用的测算表，直接套用：
| 模型规模 | 微调方法 | 显存需求 | 单步时间 | 推荐步数 | 总成本估算 |
|---|---|---|---|---|---|
| 7B | 全量微调 | 120-150GB | 3-5秒 | 2000 | 2-3小时（8×A100） |
| 7B | LoRA | 16-24GB | 1-2秒 | 800 | 15-30分钟（1×A100） |
| 13B | 全量微调 | 240-300GB | 6-10秒 | 3000 | 8-12小时（8×A100） |
| 13B | LoRA | 28-40GB | 2-4秒 | 1000 | 1-2小时（1×A100） |
| 70B | QLoRA | 48-64GB | 4-8秒 | 1500 | 3-5小时（2×A100） |
⚠️ 注意：以上数据基于 batch size=4、序列长度=2048 的典型配置。实际成本会因硬件、框架、数据量等因素浮动。我曾经在 PyTorch 和 DeepSpeed 之间切换，同样的配置，显存差了 20%。
4.5 避坑指南
最后分享几个我踩过的坑：
- 别信「LoRA 效果一定差」：我做过对比，在 7B 模型上，LoRA（r=64）的效果能达到全量微调的 95% 以上，但成本只有 1/10。
- QLoRA 的量化损失：4-bit 量化会损失 1-3% 的效果。如果你的任务对精度要求极高（比如医疗诊断），建议用 LoRA 而不是 QLoRA。
- 步数不是越多越好：我曾经在某个任务上跑了 5000 步，结果验证集 loss 在第 1200 步就开始回升。早点用 early stopping 吧。
- 显存不够？先降 batch size：别一上来就换方法。把 batch size 从 8 降到 4，显存直接砍半。这是最便宜的优化手段。
嗯，微调成本测算的核心就这些。记住：先算账，再动手。别像我当年一样，卡爆了才想起来算显存。
公众号:蓝海资料掘金营，微信deep3321