3、权重量化：逐层量化与逐通道量化的区别与选择
权重量化，说白了就是给模型权重“瘦身”。把32位的浮点数，硬生生压缩成8位甚至4位的整数。但怎么压缩？是整层一起压，还是每个通道单独压？这里面的门道，我今天跟你好好聊聊。
我个人习惯把量化策略分成两类：逐层量化和逐通道量化。这两者看似只是粒度不同，实际效果天差地别。我在项目中踩过不少坑，今天一并分享给你。
3.1 逐层量化：简单粗暴，但容易翻车
逐层量化，就是给整个卷积层或全连接层，只算一个缩放因子（scale）和一个零点（zero point）。
举个例子：
# 逐层量化示意
layer_weights = [0.5, -0.3, 1.2, -0.8, ...] # 整个层的权重
min_val = min(layer_weights) # -0.8
max_val = max(layer_weights) # 1.2
scale = (max_val - min_val) / 255
zero_point = -min_val / scale
你看，整个层共享一组量化参数。这样做的好处很明显：计算简单，部署方便。很多硬件加速器对逐层量化支持得特别好，因为只需要加载一次scale和zero point。
但问题也来了。你想想看，一个卷积层有64个输出通道，每个通道的权重分布可能完全不一样。有的通道权重集中在[-0.1, 0.1]，有的通道在[-1.0, 1.0]。如果整个层共用一个scale，那窄分布的通道就会损失大量精度。
3.2 逐通道量化：精细调控，精度更高
逐通道量化，就是每个输出通道单独计算自己的scale和zero point。说白了，就是给每个通道“量身定制”一套量化参数。
# 逐通道量化示意
# 假设卷积核形状为 [out_channels, in_channels, k_h, k_w]
for c in range(out_channels):
channel_weights = weights[c, :, :, :] # 第c个通道的权重
min_val = min(channel_weights)
max_val = max(channel_weights)
scale[c] = (max_val - min_val) / 255
zero_point[c] = -min_val / scale[c]
# 对当前通道进行量化
quantized_weights[c] = round(channel_weights / scale[c] + zero_point[c])
这样做的好处很明显：每个通道都能用上自己最合适的量化范围，精度损失大幅降低。我实测过，在MobileNet这类轻量级模型上，逐通道量化比逐层量化能多保住1-2个点的精度。
3.3 两者的核心区别
我整理了一张对比表，方便你直观理解：
| 对比维度 | 逐层量化 | 逐通道量化 |
|---|---|---|
| 量化粒度 | 整个层共享一组参数 | 每个通道独立参数 |
| 存储开销 | 低（每层2个参数） | 高（每通道2个参数） |
| 计算复杂度 | 低 | 中等（需要逐通道反量化） |
| 精度保留 | 一般，易受异常值影响 | 较好，能适应分布差异 |
| 硬件支持 | 广泛（几乎所有硬件都支持） | 部分硬件不支持 |
| 适用场景 | 权重分布均匀的层 | 权重分布差异大的层 |
3.4 如何选择？我的实战经验
嗯，这里要注意，没有银弹。选择哪种策略，得看你的具体场景。
我建议这样选：
- 先看硬件：如果你的目标硬件不支持逐通道量化，那就别纠结了，直接用逐层量化。比如某些老款NPU，只支持逐层量化。
- 再看模型：对于大模型（比如LLaMA、GPT系列），我个人习惯混合使用。注意力层（Attention）的权重分布相对均匀，用逐层量化就够了；但前馈网络（FFN）的权重分布差异大，我会用逐通道量化。
- 最后看精度要求：如果精度要求极高（比如医疗影像、自动驾驶），建议优先尝试逐通道量化。如果精度要求一般（比如推荐系统、简单分类），逐层量化完全够用。
3.5 知识体系总览
下面这张图，帮你理清权重量化的核心逻辑：
3.6 避坑指南
最后，分享几个我亲身踩过的坑：
- 不要盲目追求逐通道量化：有些硬件对逐通道量化的支持是“假支持”——虽然API上能设置，但实际计算时会退化成逐层量化。一定要实测验证。
- 注意内存对齐：逐通道量化会额外存储scale和zero point。在嵌入式设备上，这些额外参数可能导致内存对齐问题，影响推理速度。
- 小心BatchNorm融合：量化前通常会把BatchNorm融合进卷积层。但融合后，权重分布会发生变化。我建议融合后再做量化校准，而不是融合前。
权重量化这件事，说白了就是“精度”和“效率”的博弈。逐层量化省事但精度差一点，逐通道量化精度好但麻烦一点。怎么选？看你的场景，看你的硬件，看你的容忍度。没有标准答案，只有最适合的方案。
公众号:蓝海资料掘金营，微信deep3321