4. Ollama环境搭建（x86边缘服务器）

好，咱们进入实操环节。这一章我带你在一台低功耗x86设备上把Ollama跑起来。说白了，就是那种巴掌大的NUC、工控机，或者你手头闲置的旧笔记本。这类设备CPU功耗低、散热差，但胜在省电、安静、24小时不关机。

我最早在一台Intel NUC 11上折腾Ollama，那会儿还是早期版本，踩了不少坑。今天我把这些经验整理出来，你照着做，基本半小时内就能跑起来。

4.1 硬件选型与系统准备

先说说硬件。我个人的经验是，跑7B以下模型，NUC 11/12的i5版本就够用。如果你要跑13B甚至更大的模型，建议上NUC 13 Pro或者华硕的PN系列，内存至少32GB。

系统方面，我强烈推荐Ubuntu Server 22.04 LTS。为什么？因为它的内核版本对Intel OpenVINO和NVIDIA驱动支持最好。我试过Debian和Fedora，总有些小毛病要折腾。

硬件组件	最低配置	推荐配置
CPU	4核8线程	6核12线程（带AVX2指令集）
内存	16GB	32GB DDR4
存储	128GB SSD	512GB NVMe
GPU（可选）	Intel UHD集成显卡	NVIDIA RTX 3050或Intel Arc A380

4.2 原生安装Ollama

原生安装是最直接的方式。你不需要Docker，不需要容器，一条命令搞定。

# 一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh

# 验证安装
ollama --version

# 启动服务（默认监听127.0.0.1:11434）
ollama serve

安装完成后，我习惯先拉一个轻量模型测试一下：

# 拉取并运行tinyllama（1.1B参数，适合边缘设备）
ollama run tinyllama

# 测试推理
>>> 你好，请用一句话介绍你自己。
我是TinyLlama，一个轻量级的语言模型，可以帮你处理简单的文本任务。

嗯，这里要注意。如果你在无外网的环境下部署，需要提前下载好模型文件。我一般用另一台有网络的机器先拉取，然后通过scp传到边缘设备：

# 在有网络的机器上
ollama pull tinyllama
# 模型文件位置：~/.ollama/models/blobs/

# 打包传输
tar czf ollama_models.tar.gz ~/.ollama/models/
scp ollama_models.tar.gz user@边缘设备:~/

# 在边缘设备上解压
tar xzf ollama_models.tar.gz -C ~/

4.3 Docker部署方案

我个人更推荐Docker方式。为什么？隔离性好、环境一致、升级方便。你想想看，边缘设备可能同时跑好几个服务，Docker能避免依赖冲突。

# 安装Docker（如果还没装）
curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USER

# 拉取Ollama Docker镜像
docker pull ollama/ollama:latest

# 运行容器（CPU模式）
docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ~/ollama_data:/root/.ollama \
  ollama/ollama

# 进入容器操作
docker exec -it ollama ollama run tinyllama

如果你需要限制资源使用，Docker也提供了很好的支持：

# 限制CPU和内存
docker run -d \
  --name ollama \
  --cpus="4" \
  --memory="8g" \
  --memory-swap="16g" \
  -p 11434:11434 \
  -v ~/ollama_data:/root/.ollama \
  ollama/ollama

4.4 GPU加速配置

边缘设备上跑大模型，GPU加速是必须的。没有GPU加速，7B模型推理可能要等5-10秒，用户体验很差。我主要讲两种方案：Intel OpenVINO和NVIDIA CUDA。

4.4.1 Intel OpenVINO方案

如果你用的是Intel集成显卡或Arc独立显卡，OpenVINO是最佳选择。它能把模型优化成Intel硬件最擅长的格式。

# 拉取OpenVINO版本的Ollama镜像
docker pull ollama/ollama:intel

# 运行容器（需要挂载Intel GPU设备）
docker run -d \
  --name ollama-openvino \
  --device /dev/dri:/dev/dri \
  -p 11434:11434 \
  -v ~/ollama_data:/root/.ollama \
  ollama/ollama:intel

# 验证GPU是否生效
docker exec -it ollama-openvino ollama run tinyllama
# 查看日志，应该能看到 "Using Intel GPU" 字样

我实测过，在NUC 11的Iris Xe集显上，7B模型的推理速度从CPU模式的8秒降到了2.5秒。效果还是很明显的。

4.4.2 NVIDIA CUDA方案

如果你给边缘设备加装了NVIDIA显卡（比如RTX 3050或A2000），那CUDA方案性能更强。

# 先安装NVIDIA驱动和容器工具包
sudo apt install nvidia-driver-535 nvidia-container-toolkit

# 拉取CUDA版本的Ollama镜像
docker pull ollama/ollama:cuda

# 运行容器（自动识别GPU）
docker run -d \
  --name ollama-cuda \
  --gpus all \
  -p 11434:11434 \
  -v ~/ollama_data:/root/.ollama \
  ollama/ollama:cuda

# 查看GPU使用情况
nvidia-smi
# 应该能看到ollama进程占用了GPU显存

为什么会有两个版本？说白了，OpenVINO适合Intel集成显卡，CUDA适合NVIDIA独立显卡。你根据手头的硬件选一个就行。

方案	适用硬件	推理速度（7B模型）	显存占用
CPU模式	任意x86	5-10秒	0（使用系统内存）
OpenVINO	Intel集成/Arc显卡	2-4秒	4-6GB
CUDA	NVIDIA独立显卡	1-2秒	4-6GB

4.5 验证与测试

环境搭好了，咱们跑个完整的测试流程：

# 1. 检查服务状态
curl http://localhost:11434/api/tags

# 2. 发送推理请求
curl -X POST http://localhost:11434/api/generate \
  -d '{
    "model": "tinyllama",
    "prompt": "请用20个字描述边缘计算的优势",
    "stream": false
  }'

# 3. 查看响应时间
# 返回结果中会包含 "total_duration" 字段，单位是纳秒

我一般要求响应时间在2秒以内。如果超过3秒，我会检查是不是GPU加速没生效，或者模型太大了。

4.6 本章小结

这一章我们走完了Ollama在x86边缘设备上的完整部署流程。从硬件选型到系统准备，从原生安装到Docker部署，再到两种GPU加速方案。你想想看，其实核心就三件事：装好Ollama、配好GPU、跑通模型。

我个人建议，如果你只是测试，用原生安装最快。如果是生产环境，一定要用Docker。至于GPU加速，有N卡就上CUDA，没有就上OpenVINO，都比纯CPU强得多。

下一章我们会聊模型的选择和优化，到时候我会分享一些在边缘设备上跑大模型的实战技巧。

---