第2章环境准备

环境准备：操作系统选择与硬件要求

说实话，做本地大模型部署这件事，环境准备是最容易被忽视的环节。我见过太多人一上来就急着跑模型，结果卡在驱动问题上折腾一整天。嗯，咱们先把地基打牢。

操作系统怎么选？

我个人习惯用 Linux，尤其是 Ubuntu 22.04 LTS。为什么？因为绝大多数 AI 框架和工具链，都是优先在 Linux 上测试的。你想想看，NVIDIA 的驱动、CUDA 工具包、Docker 的 GPU 支持，这些在 Linux 上几乎都是「开箱即用」的体验。

如果你手头只有 Windows 机器，也不是不行。Windows 11 配合 WSL2（Windows Subsystem for Linux）也能跑，但要注意一点：WSL2 下的 GPU 穿透虽然能用，但性能损耗大概在 5%-10% 左右。我在项目中遇到过客户用 Windows 跑 7B 模型，推理速度明显比同配置的 Linux 慢一截。

macOS 用户呢？如果你用的是 Apple Silicon（M1/M2/M3）芯片，跑小模型（3B、7B）完全没问题。但 13B 以上的模型就别想了，显存不够。我自己的 M1 Max 64GB 统一内存，跑 13B 模型勉强能行，但速度感人。

  一句话总结：Linux > Windows(WSL2) > macOS。有条件就上 Ubuntu 22.04。

硬件要求：别让钱包太受伤

很多人问我：「我 8GB 内存的笔记本能跑吗？」能跑，但只能跑 3B 以下的模型，而且会很慢。咱们来算笔账：

模型大小	最低内存	推荐内存	GPU 显存需求
3B（如 Phi-3）	8GB	16GB	4GB
7B（如 Llama 3）	16GB	32GB	8GB
13B	32GB	64GB	16GB
70B	128GB	256GB	80GB（多卡）

CPU 方面，其实不用太纠结。我测试过，i5-12400 和 i9-13900K 跑同一个 7B 模型，推理速度差距不到 15%。瓶颈永远在 GPU 和内存带宽上。

我的建议：如果你预算有限，优先升级 GPU。一张 RTX 3060 12GB（二手大概 1500 元）就能流畅跑 7B 模型。别把钱花在顶级 CPU 上，不值。

NVIDIA 驱动与 CUDA 安装

这一步是很多人的噩梦。我曾经帮一个朋友远程调试，他装驱动装了三天没搞定。其实没那么复杂，咱们一步步来。

首先，确认你的显卡型号：

# Linux 下查看显卡信息
lspci | grep -i nvidia

# 或者用 nvidia-smi（如果已经装了驱动）
nvidia-smi

然后安装驱动。我个人推荐用官方 runfile 安装，别用系统自带的驱动管理器：

# 1. 先卸载旧驱动（如果有）
sudo apt purge nvidia-*

# 2. 禁用 nouveau 开源驱动
echo 'blacklist nouveau' | sudo tee /etc/modprobe.d/blacklist-nvidia-nouveau.conf
sudo update-initramfs -u

# 3. 重启后安装驱动
chmod +x NVIDIA-Linux-x86_64-*.run
sudo ./NVIDIA-Linux-x86_64-*.run

装完驱动后，验证一下：

nvidia-smi
# 应该能看到显卡型号、驱动版本、CUDA 版本

注意：驱动版本和 CUDA 版本要匹配。比如 CUDA 12.1 需要驱动版本 >= 530。别装最新的 545 驱动，我踩过坑，有些老模型会报错。

CUDA 安装就更简单了。去 NVIDIA 官网下载 runfile，或者用包管理器：

# 推荐用 runfile 安装，可以自定义路径
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run
sudo sh cuda_12.1.0_530.30.02_linux.run

# 配置环境变量
echo 'export PATH=/usr/local/cuda-12.1/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证
nvcc --version

Docker 环境搭建（可选但推荐）

为什么推荐 Docker？说白了，就是隔离环境。你想想看，不同项目可能需要不同版本的 CUDA、Python、依赖库。用 Docker 可以一键切换，互不干扰。

我在公司里维护着 5 个不同的模型服务，每个都用 Docker 跑。有一次升级 CUDA，一个模型崩了，其他 4 个完全不受影响。这就是容器化的好处。

安装 Docker 和 NVIDIA Container Toolkit：

# 安装 Docker
curl -fsSL https://get.docker.com | sudo sh

# 安装 NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt update
sudo apt install -y nvidia-container-toolkit

# 重启 Docker
sudo systemctl restart docker

# 测试 GPU 是否可用
docker run --rm --gpus all nvidia/cuda:12.1.0-base-ubuntu22.04 nvidia-smi

如果看到显卡信息，说明环境就绪了。

小技巧：用 Docker 跑 Ollama 特别方便。一行命令就能启动：
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama

知识体系总览

下面这张图帮你理清整个环境准备的核心逻辑：

嗯，环境准备这块就这些内容。记住一个原则：先确认硬件，再装驱动，最后搭容器。顺序别搞反了，不然会出各种奇怪的问题。

  避坑指南：我曾经在 Ubuntu 20.04 上装了最新的 CUDA 12.2，结果发现 Ollama 只支持到 12.1。折腾了两小时才找到原因。所以建议你装之前先去 Ollama 官网看看支持的 CUDA 版本。

环境准备好了，接下来就可以真正开始部署模型了。不过那是下一章的事，咱们先把眼前这步走稳。

公众号:蓝海资料掘金营，微信deep3321

📚 课程目录

环境准备：操作系统选择与硬件要求

操作系统怎么选？

硬件要求：别让钱包太受伤

NVIDIA 驱动与 CUDA 安装

Docker 环境搭建（可选但推荐）

知识体系总览