第四节：加载4bit量化模型——用bitsandbytes拿下LLaMA-2-7B

好，咱们进入实战环节。

前面几节讲了量化原理，讲了bitsandbytes怎么工作的。现在，是时候真刀真枪地干一场了。这一节的目标很明确：把LLaMA-2-7B这个7B参数的大模型，用4bit量化加载到显存里，然后亲眼看看它到底占了多少显存。

我个人习惯，在动手之前先想清楚一件事：我们为什么要这么做？ 说白了，就是为了让那些买不起A100、H100的兄弟们，也能在自己的消费级显卡上跑起大模型。你想想看，一张RTX 3090才24GB显存，原版LLaMA-2-7B用FP16加载，光模型权重就要吃掉14GB左右，再加上KV Cache和中间激活值，24GB根本不够用。但换成4bit量化呢？直接降到3.5GB左右！这就是量化的魔力。

4.1 环境准备与依赖检查

在开始之前，先确认你的环境里装好了bitsandbytes。我记得有一次在客户现场部署，折腾了半天发现bitsandbytes版本不对，加载模型一直报错。所以，我建议你先跑一下这个检查命令：

pip show bitsandbytes

如果没装，或者版本低于0.41.0，建议升级：

pip install bitsandbytes>=0.41.0

另外，transformers和accelerate也是必须的。我个人习惯用这个组合：

pip install transformers>=4.35.0 accelerate>=0.24.0

4.2 核心代码：一行代码搞定4bit加载

好，环境准备好了。接下来就是见证奇迹的时刻。加载4bit量化模型，其实就一行核心配置：

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

# 配置4bit量化参数
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,                # 开启4bit加载
    bnb_4bit_quant_type="nf4",        # 使用nf4量化类型
    bnb_4bit_compute_dtype=torch.bfloat16,  # 计算时用bfloat16
    bnb_4bit_use_double_quant=True    # 开启双重量化，进一步省显存
)

# 加载模型
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto"                 # 自动分配设备
)

嗯，这里要注意：device_map="auto" 这个参数很关键。它会自动把模型的不同层分配到不同的设备上。如果你的显卡显存不够，它会把一部分层放到CPU上。但说实话，我建议尽量让模型全部在GPU上，否则推理速度会慢得让你怀疑人生。

4.3 验证显存占用

模型加载完了，怎么知道它到底占了多少显存？我一般用两个方法：

方法一：用nvidia-smi看

在终端里跑：

nvidia-smi --query-gpu=memory.used --format=csv

或者更直观一点：

watch -n 1 nvidia-smi

方法二：在Python代码里直接获取

# 获取当前显存占用
memory_allocated = torch.cuda.memory_allocated() / (1024**3)  # 转换为GB
memory_reserved = torch.cuda.memory_reserved() / (1024**3)

print(f"已分配显存: {memory_allocated:.2f} GB")
print(f"已预留显存: {memory_reserved:.2f} GB")

我在项目中遇到过一个问题：有时候torch.cuda.memory_allocated()返回的值比nvidia-smi看到的要小。这是因为PyTorch有缓存机制，它会预分配一部分显存。所以，我建议两个方法都看一下，取个平均值。

4.4 实际测试结果

我用自己的RTX 4090（24GB显存）做了测试，结果如下：

加载方式	模型大小	显存占用	备注
FP16（原始）	7B参数	~14 GB	基本占满24GB
4bit量化（nf4）	7B参数	~3.8 GB	省了70%以上！
4bit + 双重量化	7B参数	~3.5 GB	再省一点

看到了吗？从14GB降到3.5GB，这就是量化的威力。你想想看，原来一张RTX 3090只能勉强跑个7B模型，现在呢？你甚至可以同时跑两个模型做对比实验。

4.5 避坑指南

我踩过的坑，不希望你再踩一遍：

• 模型下载慢： LLaMA-2-7B大概13GB，下载需要时间。我建议先配好Hugging Face的镜像源，或者用hf_transfer加速。
• OOM（显存溢出）： 如果你显存不够，试试把device_map改成"sequential"，或者手动指定哪些层放GPU、哪些放CPU。
• 推理速度慢： 4bit模型推理确实比FP16慢一些，大概慢20%-30%。这是正常的，毕竟我们牺牲了速度换来了显存。

4.6 本章知识体系

为了让你更直观地理解这一节的内容，我画了一张流程图：

这张图把整个流程串起来了。从环境准备，到配置参数，再到加载模型，最后验证显存。每一步都很清晰。

好了，这一节的内容就到这里。你学会了如何用bitsandbytes加载4bit量化模型，也知道了怎么验证显存占用。下一节，我们会深入聊聊QLoRA的微调实战，到时候你会看到，量化后的模型不仅省显存，还能做高效的参数微调。

---