4、主流量化工具：bitsandbytes、GPTQ、AWQ、GGML/GGUF、llama.cpp 的量化方案对比

聊到量化工具，我见过不少同学一上来就问：「哪个工具最好？」

说实话，这个问题本身就有问题。工具没有绝对的好坏，关键看你的场景。你是在跑推理？还是要微调？是追求极致速度，还是更在意精度？

今天我把市面上最主流的五个量化工具掰开揉碎讲清楚。每个工具我都踩过坑，有些坑现在想起来还肉疼。

4.1 bitsandbytes：最省心的入门选择

bitsandbytes 是 Hugging Face 生态里最常用的量化库。它的核心优势就两个字：简单。

你只需要在加载模型时加一个参数，就能完成 8-bit 或 4-bit 量化。我刚开始接触量化时，第一个用的就是它。

# 加载 4-bit 量化模型
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4"
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    quantization_config=quant_config,
    device_map="auto"
)

4.2 GPTQ：精度与速度的平衡大师

GPTQ 是另一种思路。它不追求「一键量化」，而是通过校准数据集来优化量化参数。说白了，它用少量样本数据「教」模型怎么量化损失最小。

我个人习惯用 GPTQ 做推理部署。为什么？因为它的精度损失确实小，尤其是在 4-bit 下，很多任务上几乎看不出和 FP16 的区别。

# 使用 AutoGPTQ 量化模型
from auto_gptq import AutoGPTQForCausalLM

model = AutoGPTQForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    quantize_config=quantize_config
)

model.quantize(
    tokenizer=tokenizer,
    calib_dataset=calibration_data,  # 校准数据集
    max_samples=128
)

model.save_quantized("llama-2-7b-4bit-gptq")

4.3 AWQ：为推理速度而生

AWQ 是较新的方案，2023 年底才火起来。它的核心洞察是：不是所有权重都同等重要。有些权重（尤其是激活值大的通道）对精度影响更大，应该保留更高精度。

你想想看，这其实很符合直觉。就像考试复习，重点章节多花时间，非重点可以粗略过一遍。

# AWQ 量化示例
from awq import AutoAWQForCausalLM

model = AutoAWQForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf"
)

model.quantize(
    tokenizer=tokenizer,
    calib_dataset=calibration_data,
    quant_config={
        "zero_point": True,
        "q_group_size": 128,
        "w_bit": 4,
        "version": "GEMM"
    }
)

4.4 GGML/GGUF：CPU 推理的王者

GGML 和 GGUF 是 llama.cpp 生态的量化格式。GGUF 是 GGML 的升级版，解决了 GGML 的一些兼容性问题。

如果你需要在 CPU 上跑大模型，或者你的 GPU 显存不够，GGML/GGUF 几乎是唯一选择。我有个项目需要在树莓派上跑 7B 模型，就是用 GGUF 格式搞定的。

# 使用 llama.cpp 加载 GGUF 模型
./main -m llama-2-7b.Q4_K_M.gguf \
       -n 256 \
       -t 8 \
       --temp 0.7 \
       -p "你好，请介绍一下你自己"

4.5 llama.cpp：CPU 推理的瑞士军刀

llama.cpp 本身不是量化工具，而是一个推理框架。但它内置了完整的量化工具链，所以我把它放在这里一起讲。

llama.cpp 支持从 GGUF 格式的模型直接推理，也支持将其他格式（如 PyTorch）转换为 GGUF。它的优化做得非常极致，甚至能在手机上跑 7B 模型。

# 将 PyTorch 模型转换为 GGUF
python convert.py llama-2-7b-hf \
    --outfile llama-2-7b.gguf \
    --outtype f16

# 量化 GGUF 模型
./quantize llama-2-7b.gguf \
    llama-2-7b.Q4_K_M.gguf \
    Q4_K_M

4.6 工具选型决策指南

说了这么多，到底该选哪个？我画了一张决策流程图，帮你快速定位。

4.7 我的最终建议

如果你问我个人怎么选，我会告诉你：

• 做研究、快速实验：bitsandbytes，5 分钟上手
• 生产环境 GPU 推理：AWQ，速度快精度好
• CPU 或边缘设备：GGUF + llama.cpp，没有对手
• 精度要求极高：GPTQ，校准后几乎无损

嗯，工具就这些。但记住，量化只是手段，不是目的。你的最终目标是让模型在特定硬件上跑得又快又准。多试几个工具，找到最适合你场景的那个。

---

公众号:蓝海资料掘金营，微信deep3321