轻量化理论基础：四大范式与计算指标
各位同学，今天我们来聊聊轻量化理论。说实话，这个主题我讲了不下二十遍，但每次都有新感悟。模型轻量化不是花架子，它是把大模型塞进嵌入式设备的必修课。我个人习惯把轻量化技术分成四大范式：剪枝、量化、蒸馏、紧凑架构设计。咱们一个一个来拆解。
一、模型剪枝：去掉冗余的神经元
剪枝，说白了就是砍掉模型里不重要的部分。你想想看，一个训练好的YOLO模型，很多神经元其实贡献很小。就像团队里有人摸鱼，你把他裁掉，团队效率反而更高。
剪枝分两种：
- 结构化剪枝：直接干掉整个通道或卷积核。好处是硬件友好，加速明显。
- 非结构化剪枝：只干掉单个权重。精度损失小，但稀疏矩阵在普通硬件上跑不快。
我在项目中遇到过一个问题：剪枝比例一高，模型精度就崩。后来发现是剪枝策略太粗暴。我建议用迭代式剪枝——剪一点，微调一下，再剪一点。就像减肥，你不能一天饿成皮包骨，得慢慢来。
重要经验：剪枝后的模型一定要做微调。我曾经跳过这步，结果模型直接废了。微调学习率建议设为原训练时的1/10。
二、量化：用更少的比特表示权重
量化，就是把模型从FP32变成INT8甚至更低精度。嗯，这里要注意：量化不是简单的四舍五入，它有一套完整的映射机制。
常见的量化方式：
| 量化类型 | 精度损失 | 加速比 | 适用场景 |
|---|---|---|---|
| FP32→FP16 | 几乎无损失 | 1.5-2x | GPU推理 |
| FP32→INT8 | 轻微损失 | 3-4x | 边缘设备 |
| FP32→INT4 | 明显损失 | 6-8x | 极端场景 |
我建议新手先从后训练量化（PTQ）入手。为什么？因为它不需要重新训练，跑个校准集就行。我曾经在RK3588上做INT8量化，YOLOv5s的mAP只掉了0.3%，但推理速度翻了一倍。
小技巧：量化时记得用代表性数据做校准。我见过有人随便拿几张图做校准，结果模型输出全是噪声。校准集最好覆盖你实际场景的分布。
三、知识蒸馏：大模型教小模型
蒸馏，就是让一个大模型（教师）教一个小模型（学生）。教师模型输出软标签（soft label），学生模型学着模仿。你想想看，这就像老工程师带新人，新人学得快，效率高。
蒸馏的关键参数：
- 温度T：控制软标签的平滑度。T越大，类别间差异越小，学生学到的知识越丰富。
- 损失权重α：平衡硬标签损失和软标签损失。我一般设α=0.7，软标签占大头。
我记得有一次做YOLOv5的蒸馏，教师模型是v5l，学生模型是v5n。一开始学生模型学得乱七八糟，后来发现是温度设得太低。把T从1调到4，效果立竿见影。说白了，温度就是蒸馏的「魔法调料」。
避坑指南：我曾经把教师模型和学生模型用同一个数据集训练，结果学生模型过拟合了。正确做法是：教师模型用完整数据集，学生模型可以用子集或增强数据。
四、紧凑架构设计：从源头做轻量
紧凑架构，就是在设计网络时就考虑轻量化。典型的例子有MobileNet、ShuffleNet、EfficientNet。它们用深度可分离卷积、通道混洗等操作，从源头减少计算量。
我个人的经验是：紧凑架构 + 剪枝/量化，效果往往1+1>2。比如YOLOv8n本身就是紧凑架构，再做个INT8量化，在树莓派上能跑到30FPS。
紧凑架构的核心思想：
- 用深度可分离卷积替代标准卷积
- 用1x1卷积做通道压缩
- 用残差连接保证梯度流动
五、FLOPs与参数量计算
这两个指标是衡量模型轻量化的「硬通货」。参数量决定模型大小，FLOPs决定计算速度。你想想看，一个模型参数量10M，FLOPs 100G，在手机上肯定跑不动。
计算公式：
# 卷积层参数量
params = K_h * K_w * C_in * C_out + C_out (bias)
# 卷积层FLOPs
FLOPs = 2 * K_h * K_w * C_in * C_out * H_out * W_out举个例子：YOLOv5s的Backbone部分，参数量约7.2M，FLOPs约16.5G。经过剪枝+量化后，参数量降到3.8M，FLOPs降到8.2G。嗯，这个数字我记得很清楚，因为当时做项目汇报时被老板追问过。
实用工具：我常用torchstat或thop库来计算FLOPs和参数量。一行代码就能出结果，省时省力。
最后说一句：轻量化不是目的，部署才是。你剪枝剪得再漂亮，量化做得再极致，如果部署时跑不起来，一切都是白搭。我建议大家在设计阶段就考虑目标硬件，比如你的芯片支持INT8加速，那就优先做量化；如果内存有限，那就优先做剪枝。
好了，这一章的内容就到这里。下一章我们会动手实践，用YOLOv8做剪枝和量化，到时候你们会看到实际效果。记住：理论是基础，实践出真知。