3、敏感层识别技术：基于KL散度的敏感层筛选、基于余弦相似度的敏感层筛选

量化精度回退，说白了就是模型变小了，但脑子也变笨了。

那问题来了——是整个模型都变笨了，还是只有某些层在拖后腿？

我做了这么多年模型优化，可以负责任地告诉你：绝大多数情况下，是少数几层在搞鬼。这些层，我们叫它「敏感层」。

找到它们，修复它们，精度就回来了。今天我们就聊两种最常用的敏感层识别方法。

3.1 为什么需要敏感层识别？

你想想看，一个ResNet-50有50层，一个BERT有12层Transformer。量化的时候，每一层都会引入误差。

但有些层天生皮实，量化后几乎没影响。有些层则娇贵得很，一量化就崩。

我遇到过最夸张的一次，某个模型量化后精度掉了5个点。排查下来，就两层有问题。修复了那两层，精度直接回到99%。

所以，敏感层识别的核心价值就两点：

• 精准定位：知道哪些层在拖后腿
• 节省成本：只修复关键层，而不是全量回退

3.2 基于KL散度的敏感层筛选

KL散度，全称Kullback-Leibler divergence。名字挺唬人，其实道理很简单——衡量两个分布之间的差异。

在量化场景下，我们比较的是：

• 量化前，该层输出的激活值分布
• 量化后，该层输出的激活值分布

差异越大，说明这层对量化越敏感。

3.2.1 数学原理

KL散度的公式长这样：

D_KL(P || Q) = Σ P(x) * log(P(x) / Q(x))

其中P是原始分布，Q是量化后的分布。

嗯，这里要注意：KL散度不是对称的。D_KL(P||Q) 和 D_KL(Q||P) 不一样。我们一般用前者，因为原始分布P才是我们关心的基准。

3.2.2 实战步骤

我个人习惯的做法是这样的：

1. 收集激活值：用一小批校准数据（几百张图就够），跑一遍原始模型，记录每一层的输出
2. 模拟量化：对每一层做伪量化（fake quantization），得到量化后的输出
3. 计算KL散度：逐层计算原始分布和量化后分布的KL散度
4. 排序筛选：按KL散度从大到小排序，取Top-K作为敏感层

代码实现大概长这样：

import numpy as np
from scipy.stats import entropy

def compute_kl_sensitivity(original_activations, quantized_activations):
    """
    计算单层的KL散度敏感度
    original_activations: 原始激活值，shape为 [batch, channels, ...]
    quantized_activations: 量化后激活值，shape相同
    """
    # 将激活值展平并分桶
    hist_orig, bins = np.histogram(original_activations.flatten(), bins=256, density=True)
    hist_quant, _ = np.histogram(quantized_activations.flatten(), bins=bins, density=True)
    
    # 避免除零
    hist_quant = np.where(hist_quant == 0, 1e-10, hist_quant)
    hist_orig = np.where(hist_orig == 0, 1e-10, hist_orig)
    
    # 计算KL散度
    kl_div = entropy(hist_orig, hist_quant)
    return kl_div

# 逐层计算
layer_sensitivity = {}
for layer_name, orig_act, quant_act in zip(layer_names, orig_activations, quant_activations):
    kl = compute_kl_sensitivity(orig_act, quant_act)
    layer_sensitivity[layer_name] = kl

# 排序
sorted_layers = sorted(layer_sensitivity.items(), key=lambda x: x[1], reverse=True)
print("Top-5 敏感层：")
for name, kl in sorted_layers[:5]:
    print(f"{name}: KL={kl:.4f}")

3.2.3 优缺点分析

优点	缺点
理论扎实，有信息论支撑	计算量较大，需要逐层模拟量化
对分布偏移敏感，能捕捉细微变化	对离散化参数（如分桶数）敏感
适用于各种激活函数	无法区分「有益偏移」和「有害偏移」

3.3 基于余弦相似度的敏感层筛选

KL散度看的是分布差异。余弦相似度呢？它看的是方向一致性。

说白了，就是量化前后，这层输出的特征向量是不是还指向同一个方向。

3.3.1 数学原理

余弦相似度的公式：

cos_sim(A, B) = (A · B) / (||A|| * ||B||)

取值范围是[-1, 1]。1表示完全同向，-1表示完全反向，0表示正交。

在量化场景下，我们期望余弦相似度接近1。如果某个层量化后余弦相似度掉到0.9以下，那就要警惕了。

3.3.2 实战步骤

做法和KL散度类似，只是计算指标不同：

1. 收集原始激活值和量化后激活值
2. 对每个样本，计算该层输出的余弦相似度
3. 对所有样本取平均，得到该层的敏感度分数
4. 按分数从小到大排序（相似度越低越敏感）

import numpy as np

def compute_cosine_sensitivity(original_activations, quantized_activations):
    """
    计算单层的余弦相似度敏感度
    """
    # 展平每个样本的特征
    batch_size = original_activations.shape[0]
    orig_flat = original_activations.reshape(batch_size, -1)
    quant_flat = quantized_activations.reshape(batch_size, -1)
    
    # 计算每个样本的余弦相似度
    cos_sims = []
    for i in range(batch_size):
        dot = np.dot(orig_flat[i], quant_flat[i])
        norm_orig = np.linalg.norm(orig_flat[i])
        norm_quant = np.linalg.norm(quant_flat[i])
        cos_sim = dot / (norm_orig * norm_quant + 1e-10)
        cos_sims.append(cos_sim)
    
    # 返回平均余弦相似度
    return np.mean(cos_sims)

# 逐层计算
layer_sensitivity_cos = {}
for layer_name, orig_act, quant_act in zip(layer_names, orig_activations, quant_activations):
    cos = compute_cosine_sensitivity(orig_act, quant_act)
    layer_sensitivity_cos[layer_name] = cos

# 排序（余弦相似度越低越敏感）
sorted_layers_cos = sorted(layer_sensitivity_cos.items(), key=lambda x: x[1])
print("Top-5 敏感层（余弦相似度）：")
for name, cos in sorted_layers_cos[:5]:
    print(f"{name}: cos_sim={cos:.4f}")

3.4 两种方法的对比与选择

对比维度	KL散度	余弦相似度
关注点	分布形状的差异	特征方向的偏移
计算复杂度	较高（需要分桶）	较低（直接计算）
对数值尺度敏感	是	否
对分布形状敏感	是	否
适用场景	激活值分布变化大的层	特征语义变化大的层

我个人习惯的做法是：先用KL散度粗筛一遍，再用余弦相似度精筛。两个方法都标记为敏感的层，那基本就是「重灾区」了。

3.5 知识体系总览

下面这张图，帮你把敏感层识别的核心逻辑串起来：

3.6 实战建议

最后，分享几点我这些年积累的经验：

• 不要只看一个指标：KL散度和余弦相似度各有侧重，结合起来用效果更好
• 校准数据要覆盖全面：如果校准数据只包含猫，那模型对狗的敏感层就发现不了
• 敏感层数量要适中：一般取总层数的10%-20%作为敏感层。太少可能漏掉，太多又失去了筛选的意义
• 注意层类型差异：卷积层、全连接层、注意力层对量化的敏感度不同，建议分层统计

敏感层识别，说白了就是给模型做「体检」。找到病灶，才能对症下药。下一节，我们会聊如何对这些敏感层进行修复——嗯，那才是真正见功夫的地方。