4、常用校准方法：MinMax、Histogram、Percentile、Entropy（KL散度）方法详解
校准方法，说白了就是帮我们找到量化参数的「最佳拍档」—— 缩放因子和零点。
选对了，模型精度几乎不掉。选错了，那推理结果可能就「放飞自我」了。
我个人习惯把这四种方法分成两类：简单粗暴型和精细调优型。咱们一个个来看。
4.1 MinMax：最直接，但也最「脆弱」
MinMax 的思路很简单：直接拿输入数据的最大值和最小值，作为量化范围的边界。
# 伪代码示例
scale = (max_val - min_val) / (127 - (-128))
zero_point = -128 - round(min_val / scale)
嗯，代码就这几行。跑起来飞快，内存占用也低。
但问题来了——它对异常值极度敏感。我在项目中遇到过，某个通道的激活值里突然蹦出一个离群点，比如正常值都在 0~5 之间，突然冒出来一个 100。MinMax 直接把这个 100 当成上界，结果整个量化精度崩了。
所以，MinMax 适合什么场景？数据分布稳定、没有异常值的情况。比如某些卷积层的权重，分布很规整，用 MinMax 完全够用。
4.2 Histogram：把分布「画」出来再找边界
Histogram 方法比 MinMax 聪明一点。它先统计数据的直方图，然后根据分布形状来选阈值。
具体怎么做？
- 把数据分成若干个 bin（比如 2048 个）
- 统计每个 bin 里的数据量
- 从两端开始「裁剪」，直到保留的数据量达到某个比例
你想想看，这其实就是在说：「那些出现频率极低的值，我就当你是噪声，直接扔掉。」
我个人习惯用 Histogram 来做初步的数据探索。先画个分布图，看看数据是集中在某个区间，还是拖了很长的尾巴。如果是长尾分布，那 Histogram 就比 MinMax 靠谱得多。
4.3 Percentile：用「分位数」来抗干扰
Percentile 方法，说白了就是 Histogram 的「精确版」。它直接指定一个百分比，比如 99.9%，然后取这个分位数作为量化边界。
# 伪代码示例
import numpy as np
data = np.random.randn(10000)
p_min = np.percentile(data, 0.1) # 0.1% 分位
p_max = np.percentile(data, 99.9) # 99.9% 分位
为什么用 99.9% 而不是 100%？因为那 0.1% 的极端值，很可能就是噪声。扔掉它们，量化精度反而更高。
我在项目中遇到过，某个模型的激活值分布非常「胖」，尾巴拖得很长。用 MinMax 直接崩，用 Histogram 调参又麻烦。最后换成 Percentile，设个 99.9%，效果立竿见影。
4.4 Entropy（KL 散度）：信息论视角下的「最优解」
KL 散度方法，是这四种里最「学术」的一个。它的目标很明确：让量化后的分布，尽可能接近原始分布。
怎么衡量「接近」？用 KL 散度。KL 散度越小，两个分布越像。
具体流程是这样的：
- 把原始数据分成很多个 bin，得到参考分布 P
- 尝试不同的阈值，对 P 进行裁剪和量化，得到量化分布 Q
- 计算 P 和 Q 之间的 KL 散度
- 选 KL 散度最小的那个阈值
你想想看，这其实是在做一个「搜索」—— 在所有可能的阈值里，找到信息损失最小的那个。
我记得第一次用 KL 散度时，心里还犯嘀咕：「这玩意儿真能比 Percentile 好？」结果跑完实验，精度确实高了 0.3 个点。虽然提升不大，但在某些对精度要求极高的场景下，这 0.3 可能就是「过线」和「不过线」的区别。
4.5 四种方法对比：一张表说清楚
| 方法 | 核心思想 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| MinMax | 取实际最大最小值 | 简单、快速 | 对异常值敏感 | 分布稳定、无异常值 |
| Histogram | 基于直方图裁剪 | 抗噪性较好 | 需要调 bin 数 | 长尾分布、初步探索 |
| Percentile | 基于分位数裁剪 | 抗噪性强、参数直观 | 百分比需要手动调 | 有异常值的场景 |
| Entropy (KL) | 最小化分布差异 | 精度最高 | 计算量大 | 关键层、精度敏感场景 |
4.6 核心逻辑流程图
下面这张图，帮你理清四种方法的选择逻辑：
嗯，这张图其实是我自己平时做量化时的心得总结。先看有没有异常值，再看分布稳不稳定，最后看精度要求。按这个顺序走，基本不会选错。
好了，四种校准方法就聊到这儿。每种方法都有自己的脾气，选对了事半功倍，选错了...嗯，就当交学费吧。