3、校准数据集：校准集的作用、如何构建校准集、校准集大小选择、数据分布对校准的影响
好，咱们接着聊INT8量化里一个特别关键的环节——校准数据集。
说实话，很多刚接触TensorRT的同学，往往把精力都放在模型转换和精度调试上，却忽略了校准集这个“地基”。我见过不少项目，模型结构没问题，量化参数也调了，但最终精度就是差那么一两个点。查到最后，问题往往出在校准集上。
所以这一节，咱们就把校准集这件事彻底讲透。
3.1 校准集到底在干什么？
先问一个问题：TensorRT做INT8量化时，它怎么知道每个权重和激活值该映射到哪个INT8区间？
答案是——它需要“看”一些数据，来统计出每一层的数值分布。这个“看数据”的过程，就是校准。
校准集的作用，说白了就是给TensorRT提供一份“样本”，让它摸清模型的脾气。它会统计每一层输出的最大值、最小值、直方图分布，然后根据这些统计信息，计算出最优的缩放因子（scale）和零点（zero point）。
核心要点：校准集的质量，直接决定了量化后模型的精度。校准集选得好，INT8模型可能只掉0.1~0.5个点；选得不好，掉3~5个点都很正常。
我个人习惯把校准集比作“面试题”。你给模型一套有代表性的题目，它才能展示出真实水平。如果题目太偏，那面试结果自然不准。
3.2 如何构建校准集？
构建校准集，不是随便拿几百张图往里塞就完事了。这里有几个关键原则，我踩过的坑也一并分享给你。
3.2.1 数据来源：必须来自训练集或同分布数据
校准集的数据，最好从训练集中随机抽取。为什么？因为训练集的数据分布，最能代表模型“见过”的世界。
如果实在拿不到训练集，也可以用和训练数据同分布的真实数据。比如你部署的是一个车牌识别模型，训练数据是停车场场景，那校准集也应该是停车场场景的图片。千万别拿网络上的风景图去校准——我试过，结果惨不忍睹。
避坑指南：我曾经在一个项目中，客户只给了模型文件，没有训练集。我图省事，从网上随便下了1000张图片做校准。结果量化后模型精度掉了8个点。后来费了好大劲，才从客户那里要到了200张训练集图片，重新校准后精度只掉了0.3个点。所以，数据分布这件事，真的不能偷懒。
3.2.2 数据多样性：覆盖所有典型场景
校准集要覆盖模型可能遇到的各种情况。比如一个目标检测模型，校准集里既要有白天场景，也要有夜晚场景；既要有晴天，也要有雨天；既要有近景，也要有远景。
你想想看，如果校准集里全是白天强光下的图片，那模型在夜间场景下的量化参数就会不准。因为TensorRT统计出来的数值分布，只代表了白天场景的特征。
3.2.3 数据预处理：和训练时保持一致
这一点特别容易被忽略。校准集在送入TensorRT之前，预处理方式必须和训练时完全一致。包括：
- 图像尺寸（resize/crop）
- 归一化参数（mean/std）
- 通道顺序（RGB还是BGR）
- 数据类型（float32还是uint8）
我见过有人用OpenCV读图（BGR顺序）去校准一个用PyTorch训练（RGB顺序）的模型，结果量化后精度直接崩了。嗯，这里要注意，预处理不一致，校准就是白做。
3.3 校准集大小怎么选？
这是个经典问题。太小了统计不准，太大了浪费时间。我根据经验给一个参考范围：
| 模型类型 | 推荐校准集大小 | 说明 |
|---|---|---|
| 分类模型（如ResNet） | 500~1000张 | 每类至少10~20张，覆盖主要类别 |
| 检测模型（如YOLO） | 300~500张 | 覆盖不同目标大小、光照、背景 |
| 分割模型（如UNet） | 200~500张 | 覆盖不同纹理、边缘、区域 |
| NLP模型（如BERT） | 1000~2000条 | 覆盖不同句式、长度、领域 |
我个人习惯先取500张试试。如果精度掉得不多，就保持这个量。如果掉得厉害，我会逐步增加到1000张、2000张，观察精度变化曲线。通常到1000张左右，精度就趋于稳定了。
小技巧：你可以做一个“校准集大小 vs 精度”的曲线图。如果曲线在某个点之后变得平缓，那这个点就是最优大小。我一般取这个点的1.5倍作为最终校准集大小，留点余量。
3.4 数据分布对校准的影响
这一点是校准集的核心，也是很多人容易忽视的地方。
3.4.1 分布偏差会导致什么？
假设你的模型训练数据中，90%是白天场景，10%是夜晚场景。如果你在校准集里用了50%白天、50%夜晚，那TensorRT统计出来的分布就会偏向夜晚。结果就是：白天场景的量化精度下降，夜晚场景的精度反而提升——但你的模型主要用在白天，这就得不偿失了。
所以，校准集的数据分布，应该尽量和训练集保持一致，或者和实际部署场景保持一致。
3.4.2 极端值的影响
校准集里如果有一些极端值（比如过曝的图片、全黑的图片），它们会拉大统计出来的数值范围，导致量化精度下降。因为TensorRT为了覆盖这些极端值，会把INT8的量化区间拉宽，从而让正常数据的量化精度变粗。
我建议在校准前，先对数据做一次简单的清洗。去掉那些明显异常的样本，比如：
- 全黑或全白的图片
- 分辨率极低的图片
- 内容完全无关的图片（比如车牌模型里混入了猫狗图片）
3.4.3 类别平衡也很重要
对于分类模型，校准集里每个类别的样本数量要尽量均衡。如果一个类别有100张，另一个类别只有1张，那TensorRT对那个少数类别的量化参数就会很不准确。
我一般会先统计训练集的类别分布，然后按比例抽取校准集。如果训练集本身就不平衡，那校准集也要保持同样的不平衡比例——因为这就是模型要面对的真实世界。
3.5 一个完整的校准集构建流程
说了这么多，我总结一个我自己常用的流程，你可以直接参考：
- 数据收集：从训练集中随机抽取500~1000张图片，确保覆盖所有典型场景和类别。
- 数据清洗：剔除异常样本（全黑、全白、分辨率过低等）。
- 数据预处理：按照训练时的预处理流程，统一resize、归一化、通道顺序。
- 格式转换：将数据保存为TensorRT支持的格式（如numpy数组或二进制文件）。
- 校准执行：使用TensorRT的INT8校准器（如IInt8EntropyCalibrator2）进行校准。
- 精度验证：用验证集对比FP32和INT8的精度，如果掉点超过预期，回到第1步调整校准集。
最后说一句：校准集这件事，看起来简单，但做起来全是细节。我见过太多人在这上面翻车，包括我自己。所以，别嫌麻烦，花点时间把校准集做好，后面量化调优会省很多事。
下一节，咱们聊聊校准算法——熵校准、最大最小值校准、百分位校准，到底该选哪个？到时候我会结合具体案例，把每种算法的优缺点和适用场景讲清楚。