环境搭建：硬件要求与软件栈配置

说实话，QLoRA 微调这件事，很多人一上来就卡在环境搭建上。我见过不少同学，模型下载好了，代码也准备好了，结果一跑就报错——CUDA 版本不对，bitsandbytes 装不上，显存爆了……嗯，这些坑我都踩过。

今天咱们就把环境搭建这件事彻底讲清楚。你跟着我的节奏来，保证一次配通。

硬件要求：别让显存成为瓶颈

先聊硬件。QLoRA 最大的优势就是省显存。但省归省，底线还是要有的。

GPU 显存：核心指标

我个人习惯把显存需求分成三档：

为什么会这样？因为 QLoRA 把模型量化到 4-bit，再配合 LoRA 低秩适配，实际参与训练的参数量只有原来的 0.1% 左右。说白了，你是在用「四两拨千斤」的方式做微调。

内存：容易被忽略的坑

GPU 显存大家都很关注，但系统内存往往被忽略。我曾经在 16GB 内存的机器上加载 13B 模型，结果加载到一半直接 OOM 了。

我建议：

• 7B 模型：至少 16GB 内存
• 13B 模型：至少 32GB 内存
• 70B 模型：至少 64GB 内存

软件栈：版本匹配是王道

软件环境配置，说白了就是版本匹配的问题。你想想看，CUDA、PyTorch、bitsandbytes 这三者之间版本不对，就会报各种莫名其妙的错。

CUDA 与 PyTorch

我目前推荐这套组合：

bitsandbytes 安装要点

bitsandbytes 是 QLoRA 的核心依赖。它负责 4-bit 量化。安装时要注意：

# 推荐方式：用 pip 安装预编译包
pip install bitsandbytes

# 如果报错，尝试指定 CUDA 版本
pip install bitsandbytes-cuda118  # 对应 CUDA 11.8
pip install bitsandbytes-cuda121  # 对应 CUDA 12.1

# 实在不行，从源码编译
git clone https://github.com/TimDettmers/bitsandbytes.git
cd bitsandbytes
make cuda118  # 或 cuda121
python setup.py install

虚拟环境配置：隔离是美德

我强烈建议你为每个项目创建独立的虚拟环境。为什么？因为不同项目可能依赖不同版本的 PyTorch 或 bitsandbytes。混在一起迟早会出问题。

使用 Conda

我个人更推荐 Conda，因为它能同时管理 Python 版本和 CUDA 相关包。

# 创建环境
conda create -n qlora python=3.10

# 激活环境
conda activate qlora

# 安装 PyTorch（CUDA 11.8 版本）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装其他依赖
pip install transformers datasets accelerate
pip install bitsandbytes peft
pip install tensorboard scikit-learn

使用 venv

如果你不想装 Conda，用 Python 自带的 venv 也行：

# 创建环境
python -m venv qlora_env

# 激活环境（Linux/Mac）
source qlora_env/bin/activate

# 激活环境（Windows）
qlora_env\Scripts\activate

# 安装依赖（同上）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers datasets accelerate bitsandbytes peft

验证环境是否配置成功

环境配好后，跑一段简单的代码验证一下：

import torch
import transformers
import bitsandbytes as bnb
import peft

print(f"PyTorch 版本: {torch.__version__}")
print(f"CUDA 是否可用: {torch.cuda.is_available()}")
print(f"CUDA 版本: {torch.version.cuda}")
print(f"GPU 数量: {torch.cuda.device_count()}")
print(f"GPU 名称: {torch.cuda.get_device_name(0)}")
print(f"Transformers 版本: {transformers.__version__}")
print(f"bitsandbytes 版本: {bnb.__version__}")
print(f"PEFT 版本: {peft.__version__}")

# 测试 bitsandbytes 4-bit 量化
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4"
)

print("4-bit 量化配置创建成功！")

如果这段代码能顺利跑完，恭喜你，环境搭建成功了。

知识体系总览

下面这张图帮你理清本章的核心逻辑：

这张图把环境搭建分成了四个层次：硬件、软件栈、虚拟环境和验证。你按这个顺序来，基本不会出错。