校准数据集：如何选择与构建校准数据集，避免校准偏差
做 INT8 量化，最怕什么？
我最怕模型精度崩了，还找不到原因。
有一次，我花了两周时间排查一个量化后的 BERT 模型。推理速度上去了，但准确率掉了 3 个点。查来查去，最后发现——校准数据集选错了。说白了，你用了一堆新闻语料去校准，结果模型上线后处理的是客服对话。这能不崩吗？
所以今天咱们就聊聊校准数据集。这是 INT8 量化的第一步，也是决定成败的一步。
校准数据集是什么？为什么它这么重要？
校准数据集，就是用来「教」量化算法如何缩放权重和激活值的一组数据。
你想想看，FP16 模型里每个数值都是精确的。但转成 INT8 后，我们只能用 256 个整数去表示原来的浮点数范围。这个「范围」怎么定？就看校准数据集里数据的分布。
我习惯把校准数据集比作「尺子」。你拿一把量衣服的软尺去量钢筋，肯定不准。同理，你用不匹配的数据去校准，量化后的模型就像拿错了尺子——该大的地方小了，该小的地方大了。
核心结论：校准数据集的质量，直接决定了 INT8 量化的精度损失程度。选对了，损失可以控制在 0.1% 以内；选错了，掉 5% 都是常事。
校准数据集的三大核心要求
我在多个项目里踩过坑，总结下来，好的校准数据集必须满足三点：
- 代表性——数据分布要和真实推理场景一致
- 多样性——覆盖尽可能多的输入模式
- 适量性——不是越多越好，够用就行
咱们一个一个说。
1. 代表性：别拿「别人的数据」校准你的模型
这个坑我踩过。有一次做电商搜索的模型量化，我图省事，直接从公开数据集里抽了 500 条文本。结果上线后，搜索「iPhone 15」出来的结果乱七八糟。为什么？因为公开数据集里根本没有商品标题这种短文本，全是新闻长文。
校准数据必须来自你的真实业务场景。比如：
- 做图像分类，就用你业务中实际出现的图片
- 做语音识别，就用你用户实际说话的录音
- 做推荐系统，就用用户真实的点击序列
我的建议：直接从线上日志里采样。取 500-1000 条真实请求，基本就够了。别嫌少，关键是「真」。
2. 多样性：别让模型变成「偏科生」
代表性解决了「对不对」的问题，多样性解决的是「全不全」的问题。
我记得有个做 OCR 识别的项目。校准数据全是白底黑字的扫描件，结果模型上线后遇到手写体、彩色背景的图片，直接崩了。这就是多样性不足。
怎么保证多样性？我一般会从这几个维度去检查：
- 输入长度：短文本、长文本都要有
- 数值范围：大数值、小数值都要覆盖
- 类别分布：每个类别至少 10-20 条
- 噪声水平：干净数据和带噪声的数据混合
3. 适量性：500 条就够了，别贪多
很多人觉得校准数据越多越好。其实不是。
我做过实验：用 100 条、500 条、2000 条、10000 条数据分别校准同一个模型。结果发现，500 条和 10000 条的精度几乎一样。但 100 条确实会差一些。
为什么？因为校准的本质是估计数值分布。500 条已经能很好地估计出分布了。再多，边际收益几乎为零，反而增加预处理时间。
| 校准数据量 | 精度损失（相对 FP16） | 校准耗时 |
|---|---|---|
| 100 条 | 0.8% - 1.5% | ~2 秒 |
| 500 条 | 0.1% - 0.3% | ~10 秒 |
| 2000 条 | 0.1% - 0.2% | ~40 秒 |
| 10000 条 | 0.1% - 0.2% | ~3 分钟 |
注意：如果模型有多个输入（比如双塔模型），每个输入都要单独检查数据分布。我曾经遇到过 text 输入分布正常，但 image 输入全是黑图的情况——校准完精度直接掉了 8%。
如何构建校准数据集？手把手教你
好，理论说完了，咱们上实操。我一般按这四步走：
Step 1：从线上日志采样
别用测试集，别用训练集。用线上真实请求。
我习惯写个脚本，从日志里随机抽 1000 条。然后人工看一眼，确保没有明显异常（比如全是空请求、全是错误码）。
# 伪代码示例：从日志采样
import random
def sample_calibration_data(log_file, sample_size=1000):
with open(log_file, 'r') as f:
lines = f.readlines()
# 随机采样
sampled = random.sample(lines, min(sample_size, len(lines)))
return sampledStep 2：去重和清洗
线上日志里经常有重复请求。比如同一个用户刷了 10 次同样的搜索词。这些重复数据会「带偏」校准分布。
我一般会做两步：
- 去重：相同输入只保留一条
- 清洗：去掉明显异常的数据（比如长度超过 99% 分位数的）
Step 3：检查分布一致性
这一步很多人会跳过。但我建议你一定要做。
把校准数据集和线上全量数据的分布画出来对比一下。比如输入长度的直方图、数值的直方图。如果形状差异很大，说明采样有问题。
小技巧：用 KL 散度来量化分布差异。KL 散度小于 0.1 就算合格。我一般控制在 0.05 以内才放心。
Step 4：验证校准效果
校准完别急着上线。先用一小批线上数据跑一下精度对比。
我习惯的做法是：
- 用 FP16 模型跑 1000 条线上数据，记录输出
- 用 INT8 模型跑同样的 1000 条数据，记录输出
- 计算两者的差异（比如余弦相似度、绝对误差）
如果差异超过 1%，我会重新检查校准数据集。
校准偏差的常见原因与排查方法
就算你按上面的步骤做了，有时候还是会遇到偏差。我总结了几种常见情况：
| 现象 | 可能原因 | 排查方法 |
|---|---|---|
| 所有输出都偏大/偏小 | 校准数据数值范围偏大/偏小 | 对比校准数据和线上数据的 min/max |
| 某些类别准确率骤降 | 校准数据中该类样本太少 | 检查类别分布，补充样本 |
| 长序列输出异常 | 校准数据中长序列不足 | 增加长序列样本比例 |
| 精度时好时坏 | 校准数据量太少，分布不稳定 | 增加校准数据量到 1000 条以上 |
我曾经踩过的坑：有一次校准完模型，精度看起来没问题。但上线后，每天凌晨 3 点模型就抽风。查了半天才发现——凌晨的流量里有很多「垃圾请求」（爬虫、攻击），这些数据分布和白天完全不一样。后来我在校准数据集里特意加入了凌晨的样本，问题就解决了。
校准数据集的构建流程图
下面这张图是我自己总结的校准数据集构建流程。每次做量化前，我都会对着它走一遍：
这张图的核心逻辑就是：采样 → 清洗 → 检查 → 校准。如果分布检查不通过，别硬来，回去重新采样。这一步省不了。
总结一下
校准数据集这件事，说难不难，说简单也不简单。我见过太多人在这上面翻车了。
记住三个关键词：代表性、多样性、适量性。
如果你现在正准备做 INT8 量化，我建议你先花 10 分钟检查一下你的校准数据集——它来自哪里？分布对不对？有没有重复？
这 10 分钟，可能帮你省下后面 10 个小时的排查时间。
最后一个小建议：每次做完校准，把校准数据集保存下来，打上标签。下次模型更新时，用同一份数据校准，方便对比精度变化。我习惯在文件名里加上日期和版本号，比如 calib_data_v2_20250115.json。
公众号:蓝海资料掘金营，微信deep3321