环境准备：Linux服务器选型建议、硬件要求与基础配置
说实话，很多朋友一上来就问我：「老师，跑Ollama到底需要什么样的机器？」
我的回答通常是——先别急着买服务器，搞清楚你的场景再说。我自己踩过不少坑，比如一开始图便宜买了台低配云服务器，结果跑个7B模型都卡成PPT。嗯，今天咱们就把这事掰扯清楚。
核心原则：Ollama本身很轻量，真正吃资源的是你加载的大模型。选型前先问自己三个问题：
- 我要跑多大的模型？（7B、13B还是70B？）
- 并发请求量有多大？（一个人玩还是团队用？）
- 预算上限是多少？（白嫖党还是预算充足？）
一、硬件要求：CPU、内存、GPU怎么配？
我习惯把硬件选型分成三个档次，你根据自己情况对号入座：
| 模型规模 | CPU推荐 | 内存要求 | GPU推荐 | 适用场景 |
|---|---|---|---|---|
| 7B模型（入门级） | 4核以上，2.0GHz+ | 16GB（纯CPU推理需32GB） | GTX 1060 6GB 或 RTX 3060 12GB | 个人学习、轻量对话 |
| 13B模型（进阶级） | 8核以上，2.5GHz+ | 32GB（纯CPU推理需64GB） | RTX 3090 24GB 或 A4000 | 中等复杂度任务、小团队使用 |
| 70B模型（专业级） | 16核以上，3.0GHz+ | 64GB起步（推荐128GB） | 2×RTX 4090 或 A100 80GB | 企业级应用、高精度推理 |
我的个人经验：如果你只是自己玩玩，RTX 3060 12GB + 32GB内存是性价比最高的组合。我去年帮一个朋友配了这套，跑7B模型完全够用，还能同时开几个浏览器标签页查资料。
二、Linux服务器选型建议
说到服务器，其实就两条路：物理机和云服务器。我分别说说我的看法。
1. 物理机方案
适合有固定办公场所、对数据隐私要求高的团队。我个人比较推荐：
- 二手工作站：戴尔T640、惠普Z8这类，闲鱼上3000-5000元能淘到不错的配置
- 自组台式机：预算5000-8000元，重点投资显卡和内存
- 注意：电源要留够余量，GPU满载时功耗不低。我曾经遇到过电源功率不够，跑模型时自动重启的尴尬事...
2. 云服务器方案
适合临时使用、弹性扩展的场景。我建议：
- 国内：阿里云GPU实例、腾讯云GN系列
- 国外：AWS EC2 P3/P4系列、Google Cloud GPU实例
- 省钱技巧：用抢占式实例，价格能便宜70%左右。但要注意——实例随时可能被回收，不适合长期运行
避坑指南：我曾经在阿里云上选了个「轻量应用服务器」，结果发现它不支持挂载GPU。白花了半个月的冤枉钱。所以买云服务器时，一定要确认是否支持GPU直通，别被「GPU云服务器」这个名字忽悠了。
三、操作系统基础配置
操作系统我强烈推荐Ubuntu 22.04 LTS。为什么？因为Ollama官方对Ubuntu支持最好，社区资源也最丰富。CentOS虽然稳定，但很多新工具包安装起来麻烦得要命。
下面是我每次部署新机器都会做的「三板斧」配置：
1. 系统更新与基础工具
# 更新系统
sudo apt update && sudo apt upgrade -y
# 安装基础工具
sudo apt install -y curl wget git vim htop net-tools
# 安装NVIDIA驱动（如果有GPU）
sudo apt install -y nvidia-driver-535
sudo reboot2. 配置GPU环境
这一步很多人容易出错。我习惯用Docker + NVIDIA Container Toolkit的方式，省心又干净：
# 安装Docker
curl -fsSL https://get.docker.com | sudo sh
sudo usermod -aG docker $USER
# 安装NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo systemctl restart docker小技巧：装完驱动后，用 nvidia-smi 检查一下。如果显示GPU信息，说明驱动装好了。如果报错，八成是内核版本和驱动不匹配——重启一下通常能解决。
3. 系统调优
为了让Ollama跑得更稳，我还会做这几件事：
- 关闭交换分区：
sudo swapoff -a，避免内存不足时系统卡死 - 调整文件描述符限制： 在
/etc/security/limits.conf中添加* soft nofile 65535和* hard nofile 65535 - 开启大页内存： 对于大模型推理有帮助，但新手可以先跳过
四、知识体系总览
下面这张图是我自己整理的，把整个环境准备阶段的核心逻辑串起来了：
五、最后说几句
环境准备这件事，说白了就是「先匹配模型，再匹配硬件，最后配置系统」。别一上来就想着搞个A100，先问问自己：我真的需要跑70B模型吗？
我个人建议：从7B模型开始，用RTX 3060 + 32GB内存 + Ubuntu 22.04，这套组合足够你玩半年。等摸透了Ollama的脾气，再考虑升级也不迟。
嗯，环境准备好了，下一步就是安装Ollama了。不过那是下一章的事，咱们先把眼前这步走稳。