3、精度与数据格式：训练为何需要FP32/BF16？推理为何可以接受INT8/INT4？混合精度训练的原理
好，咱们来聊聊精度这个话题。说实话，这是很多刚入行的朋友最容易搞混的地方。为什么训练的时候非得用FP32、BF16这些高精度格式，到了推理阶段，INT8甚至INT4都能凑合？这背后其实藏着芯片架构和算法之间的博弈。
3.1 训练为什么需要高精度？
我个人习惯把训练比作「在迷雾中画地图」。你想想看，模型刚开始啥都不知道，权重都是随机初始化的。每次前向传播算出来的loss，要通过反向传播去更新权重。这个过程中，梯度信号非常微弱。
我记得有一次做BERT-large的训练，发现某个层的梯度值小到只有10的负7次方级别。如果这时候用INT8去表示，直接就被截断成0了。梯度一消失，模型根本学不动。
所以训练阶段需要高精度，核心原因有两个：
- 梯度动态范围极大：不同层的梯度可能相差几个数量级。FP32的指数位有8位，能表示约10的负38次方到10的38次方的范围。INT8只有256个离散值，根本覆盖不了。
- 权重更新需要细粒度：每次更新可能只改变权重的小数点后几位。低精度格式的量化误差会累积，导致模型收敛到错误的局部最优。
关键数据对比：FP32的精度大约是7位有效十进制数，BF16也有约3位。而INT8只有不到3位有效数字，INT4更是只有1位左右。训练时权重更新量往往在10的负4到负6次方，低精度根本捕捉不到。
3.2 BF16为什么成了训练新宠？
你可能会问，那为什么现在很多训练都用BF16而不是FP32？嗯，这里有个有意思的故事。
BF16的全称是Brain Floating Point 16，是Google Brain团队搞出来的。它和FP32有相同的8位指数位，只是尾数从23位砍到了7位。这意味着什么？
- 动态范围和FP32一样大：能表示的最大最小值完全相同。这对训练来说太重要了，梯度不会因为指数位不够而溢出。
- 精度降低了：尾数少了，但训练实验表明，大部分模型对尾数精度不敏感。我做过对比实验，ResNet-50用BF16训练，最终精度和FP32相差不到0.1%。
我曾经在某个项目中，把整个训练流程从FP32切到BF16，显存占用直接减半，训练速度提升了40%。代价是什么？几乎没有代价。这就是BF16的魅力所在。
个人经验：如果你的模型对数值特别敏感（比如某些NLP任务），建议在关键层（如BatchNorm的gamma/beta）保留FP32。我习惯的做法是：主网络用BF16，loss计算和梯度裁剪用FP32。
3.3 推理为什么可以接受INT8/INT4？
推理阶段就不一样了。这时候模型已经训练好了，权重是固定的。说白了，我们只需要做前向传播，不需要反向传播。
为什么推理可以容忍低精度？
- 没有梯度问题：推理不需要计算梯度，所以不用担心梯度消失或溢出。我们只关心前向计算结果是否正确。
- 权重分布相对集中：训练好的模型，权重值通常集中在某个范围内（比如-1到1之间）。INT8的256个量化级别，如果校准得好，足够覆盖这个范围。
- 硬件效率极高：INT8的乘法器比FP32小4倍，功耗低6倍以上。INT4更是夸张，一个芯片上可以塞进上千个计算单元。
我记得有个客户做边缘端的人脸识别，要求功耗低于1W。FP32的方案根本跑不动，换成INT8量化后，帧率从5fps飙到了30fps，功耗只有0.3W。这就是低精度的威力。
避坑指南：我曾经遇到过一个问题——某个模型FP32精度是95%，INT8量化后直接掉到82%。查了半天发现是某个层的激活值分布特别不均匀，有大量离群点。解决方案是做了逐通道量化（per-channel quantization），精度恢复到93%。所以量化不是无脑转换，需要做校准和调优。
3.4 混合精度训练的原理
好，现在我们把训练和推理串起来。混合精度训练，说白了就是「训练时用高精度保梯度，推理时用低精度提速度」。
混合精度训练的核心流程是这样的：
- 前向传播用FP16/BF16：权重和激活值都用半精度计算，节省显存和带宽。
- 反向传播也用半精度：梯度计算在半精度下进行，但会做loss scaling（损失缩放），防止梯度下溢。
- 权重更新用FP32：这是关键。梯度在半精度下计算完后，会转成FP32，然后和FP32格式的权重做更新。更新后的权重再转回半精度用于下一次前向传播。
为什么要这么折腾？因为权重更新这一步对精度最敏感。我做过实验，如果权重更新也在半精度下做，训练出来的模型精度会掉1-2%。但把更新这一步保留在FP32，精度几乎无损。
下面这张图展示了混合精度训练的数据流：
这张图里，蓝色路径是半精度计算，绿色路径是FP32精度。你会发现，只有权重更新这一步用了FP32。这就是混合精度的精髓——把精度花在刀刃上。
3.5 精度选择的实际建议
说了这么多，我给大家总结一下实际项目中的选择策略：
| 场景 | 推荐精度 | 原因 |
|---|---|---|
| 从头训练大模型 | BF16 + FP32混合 | 动态范围大，显存省一半 |
| 微调预训练模型 | FP32或BF16 | 微调对精度更敏感 |
| 云端推理 | INT8 | 吞吐量优先，精度损失可控 |
| 边缘端推理 | INT4或INT8 | 功耗和面积受限 |
| 对精度要求极高的场景（如医疗） | FP32 | 宁可慢，不能错 |
核心结论：训练用高精度是为了保梯度，推理用低精度是为了提效率。混合精度训练的本质是「梯度用半精度算，权重用全精度更新」。这个原则从我入行到现在，一直没变过。
嗯，精度这个话题就聊到这儿。下一章我们会深入聊聊芯片架构如何适配这些不同的精度格式，以及硬件设计上的取舍。
公众号:蓝海资料掘金营，微信deep3321