4、量化技术详解：从FP16到INT4的量化原理，不同量化级别对模型精度和速度的影响。
聊到低算力设备跑大模型，量化是绕不开的话题。说白了，量化就是把模型里那些高精度的浮点数，比如FP32、FP16，硬塞进更小的数据类型里，比如INT8、INT4。你想想看，一个FP32的数是32位，一个INT4只有4位，体积直接缩到八分之一。这对我们嵌入式设备来说，简直是救命稻草。
我个人习惯把量化比作“压缩照片”。原图是RAW格式，细节丰富但文件巨大。你把它转成JPEG，肉眼看着差不多，但文件小了好几倍。量化也是这个道理——牺牲一点点精度，换来体积和速度的巨大提升。我在项目中遇到过不少次，模型在服务器上跑得飞起，一放到树莓派上就卡成PPT，最后都是靠量化解决的。
4.1 量化到底在做什么？
先看一个最简单的例子。假设模型里有个权重是3.14159265，在FP32里它存的就是这个值。量化到INT8后，它可能变成了一个整数，比如78。这个78并不是3.14，而是通过一个缩放因子映射过去的。推理的时候，再把78乘回那个缩放因子，得到一个近似值。
这个过程可以用一个公式概括：
量化值 = round(原始值 / 缩放因子) + 零点偏移反量化就是逆运算：
近似值 = (量化值 - 零点偏移) * 缩放因子嗯，这里要注意，缩放因子和零点偏移是量化过程中最关键的两个参数。它们决定了你的量化精度能保留多少。
核心思想：量化不是把数据扔掉，而是用一种更紧凑的方式重新编码。代价是引入量化误差，但通常这个误差在可接受范围内。
4.2 从FP16到INT4：精度与速度的博弈
不同的量化级别，说白了就是不同的“压缩率”。我们一个一个来看。
4.2.1 FP16（半精度浮点）
FP16其实不算严格意义上的量化，它只是把FP32的32位砍了一半。很多现代GPU和NPU原生支持FP16计算，速度比FP32快一倍左右。精度损失极小，几乎可以忽略。我建议，如果你的设备支持FP16，优先用它。它是最安全的“降级”方案。
4.2.2 INT8（8位整型）
INT8是当前最主流的量化方案。模型体积缩小到FP32的四分之一，推理速度在CPU上能提升2-4倍，在专用NPU上甚至能提升10倍以上。精度损失呢？对于7B以上的大模型，通常损失在1%-3%之间，肉眼几乎看不出区别。
我在项目中遇到过最典型的场景：一个13B的模型，FP16版本占26GB，我的开发板只有16GB内存，根本装不下。量化到INT8后，体积降到13GB，顺利跑起来了，而且回答质量几乎没有下降。
4.2.3 INT4（4位整型）
INT4是真正的“极限压缩”。体积只有FP32的八分之一，FP16的四分之一。但代价也很明显——精度损失开始变得显著。对于小模型（比如1B-3B），INT4量化后可能会出现明显的“胡言乱语”。但对于大模型（7B以上），很多量化算法（比如GPTQ、GGML的Q4_0）能把损失控制在可接受范围内。
警告：INT4量化不是万能的。我曾经在一个3B的对话模型上试过INT4，结果模型开始频繁重复同一个词，完全没法用。后来换回INT8才解决问题。所以，小模型慎用INT4。
4.3 不同量化级别的对比
为了让你看得更清楚，我整理了一个表格：
| 量化级别 | 位宽 | 体积缩小比例 | 速度提升（CPU） | 精度损失 | 推荐场景 |
|---|---|---|---|---|---|
| FP32 | 32位 | 1x（基准） | 1x（基准） | 无 | 服务器、GPU |
| FP16 | 16位 | 0.5x | 1.5-2x | 几乎无 | 支持FP16的设备 |
| INT8 | 8位 | 0.25x | 2-4x | 1%-3% | 大多数低算力设备 |
| INT4 | 4位 | 0.125x | 3-6x | 3%-10% | 大模型、内存极度受限 |
我的经验：选量化级别时，先看你的设备内存上限。比如你的设备只有8GB内存，那一个7B的FP16模型（约14GB）肯定装不下。这时候要么选INT8（7GB），要么选更小的模型。别硬上，硬上只会换来OOM（内存溢出）错误。
4.4 量化对速度的影响：不只是体积变小
很多人以为量化只是让模型变小，所以加载快了。其实不止。量化后的模型在推理时，计算量也大幅降低。为什么呢？因为INT8的乘法运算比FP32快得多。CPU有专门的SIMD指令集（比如AVX-512）来加速整型运算。
我举个例子。假设一个矩阵乘法，FP32版本需要1000次浮点乘法，INT8版本只需要1000次整型乘法。在同等硬件上，整型乘法通常比浮点乘法快2-4倍。再加上内存带宽的节省（每次读取的数据量更小），整体速度提升非常可观。
但这里有个坑：反量化操作本身也有开销。每次计算前，需要把INT8数据转回浮点数。如果反量化实现得不好，反而会拖慢速度。GGUF格式在这方面做了大量优化，它把反量化操作融合到了计算过程中，几乎不产生额外开销。
4.5 量化精度的“甜蜜点”
根据我的实战经验，不同大小的模型有不同的“甜蜜点”：
- 1B-3B模型：建议用FP16或INT8。INT4风险较高，容易崩。
- 7B-13B模型：INT8是最佳选择。如果内存实在不够，可以试试INT4，但要做好精度下降的心理准备。
- 30B以上模型：INT4几乎是唯一能在低算力设备上跑的选择。好在模型越大，对量化的容忍度越高。
避坑指南：我曾经在一个7B的代码生成模型上试过INT4量化，结果生成的代码逻辑完全混乱。后来发现是量化算法没选对。GGUF的Q4_K_M（一种混合精度量化）比Q4_0效果好很多。所以，别只看量化级别，也要看具体的量化算法。
4.6 知识体系结构图
下面这张图总结了量化技术的核心逻辑，从数据类型到实际影响，一目了然：
4.7 实战中的量化选择策略
最后，我分享一下我在实际项目中是怎么选量化级别的。其实就三步：
- 先看内存：你的设备有多少可用内存？模型量化后能不能装下？装不下就降一级。
- 再看速度：装下之后，推理速度能不能接受？比如对话模型，每秒生成1个token和每秒生成10个token，体验天差地别。如果太慢，继续降级。
- 最后看质量：速度达标了，但模型回答质量有没有明显下降？如果开始胡言乱语，那就得升回去。
这三步走下来，基本就能找到最适合你设备的量化级别。记住，没有最好的量化，只有最合适的量化。