1、Ollama初识：什么是Ollama、Ollama的核心优势、Ollama的安装与卸载
大家好，我是你们的老朋友。今天咱们来聊聊Ollama——这个让大模型部署变得像喝水一样简单的工具。
说实话，我第一次接触Ollama的时候，心里是有点不屑的。毕竟搞了这么多年AI运维，什么框架没见过？但用了一次之后，我承认——真香。它解决了我最头疼的几个问题：环境配置、依赖管理、GPU适配。嗯，咱们慢慢聊。
1.1 什么是Ollama？
Ollama，说白了就是一个大模型运行框架。它的目标很纯粹：让你在本地跑大模型，不需要折腾CUDA、Python环境、虚拟环境这些乱七八糟的东西。
你想想看，以前要跑一个LLaMA模型，你得先装Python、装PyTorch、装Transformers、装Accelerate……搞不好还得编译个什么库。折腾半天，模型还没下载，人已经累了。Ollama把这些全封装了。你只需要一条命令，模型就下载、加载、运行一条龙搞定。
我个人的理解是：Ollama = 模型管理器 + 推理引擎 + API服务器。它把这三件事揉在一起，给你一个干净利落的命令行工具。
核心定位：Ollama是一个轻量级、可扩展的本地大模型运行框架，支持从下载、管理到推理的全流程。
1.2 Ollama的核心优势
我在项目中用过不少类似工具，比如llama.cpp、text-generation-webui、vLLM。但Ollama有几个点让我觉得特别舒服：
- 极简安装：一条命令搞定，不需要折腾任何依赖。我曾在Windows、Mac、Linux三台机器上分别测试过，安装时间不超过2分钟。
- 模型一键下载：
ollama pull llama3就完事了。它会自动下载模型文件、量化版本、配置文件。我曾经手动下载过GGUF文件，然后配参数配了半天……那感觉，不提了。 - 开箱即用的API：Ollama默认启动一个REST API，端口11434。你可以用curl、Python、JavaScript直接调用。这意味着你不需要写任何推理代码。
- 跨平台支持：Windows、macOS、Linux全平台覆盖。而且macOS上支持Metal加速，Linux上支持CUDA和ROCm。
- 模型热切换：你可以同时加载多个模型，随时切换。我在做模型对比测试时，这个功能帮了大忙。
- 社区生态丰富：Ollama官方模型库里有几百个模型，从LLaMA、Mistral、Gemma到Qwen、Yi，基本覆盖了主流开源模型。
个人经验：我建议新手从7B参数的模型开始玩。比如llama3:8b或者qwen2:7b。参数量适中，普通笔记本也能跑，效果也够用。别一上来就搞70B，那玩意儿没个A100真跑不动。
1.3 Ollama的安装与卸载
安装这块，我踩过不少坑。咱们分平台说，每个平台我都亲自试过。
Windows安装
Windows最简单。去Ollama官网下载安装包，双击运行，一路Next就行。安装完成后，打开命令行（CMD或PowerShell），输入：
ollama --version如果看到版本号，说明安装成功。我遇到过一个问题：安装后命令行找不到ollama命令。这是因为环境变量没刷新。重启终端或者手动把 C:\Users\你的用户名\AppData\Local\Programs\Ollama 加到PATH里就行。
避坑指南：我曾经在Windows上安装时，杀毒软件把Ollama的安装文件拦截了。如果你遇到安装失败，先关掉实时防护再试。另外，Windows上Ollama默认使用CPU推理，如果你想用GPU，需要安装CUDA 11.8以上版本。
macOS安装
macOS有两种方式：
- 官方安装包：下载.dmg文件，拖到Applications文件夹。
- Homebrew安装：我个人推荐这种方式，更新方便。
brew install ollama安装完成后，启动服务：
ollama serve然后新开一个终端窗口，就可以用了。macOS上Ollama会自动使用Metal加速，也就是苹果的GPU。我在M1 Pro上跑7B模型，速度大概每秒20-30个token，完全够用。
小技巧：macOS上如果遇到权限问题，试试 sudo chown -R $(whoami) ~/.ollama。这是Ollama的配置目录，有时候权限会乱掉。
Linux安装
Linux上我推荐用官方脚本安装，最省事：
curl -fsSL https://ollama.com/install.sh | sh这个脚本会自动检测你的系统（Ubuntu、Debian、CentOS、Fedora等），安装对应的依赖和Ollama。安装完成后，启动服务：
systemctl start ollama
systemctl enable ollama # 设置开机自启如果你用的是无systemd的发行版（比如Alpine），可以用：
ollama serve &Linux上GPU支持最好。NVIDIA显卡需要安装NVIDIA Container Toolkit，AMD显卡需要ROCm。我建议先确认你的显卡驱动版本：
nvidia-smi # 查看NVIDIA驱动和CUDA版本避坑指南：我曾经在Ubuntu 22.04上安装时，脚本报错说缺少libc6。这是因为系统版本太老。解决办法是手动添加Ollama的APT源：
curl -fsSL https://ollama.com/install.sh | sudo bash -s -- --no-install-recommends或者直接下载deb包手动安装。
卸载方法
卸载也很简单，各平台命令如下：
| 平台 | 卸载命令 |
|---|---|
| Windows | 控制面板 → 程序和功能 → 卸载Ollama |
| macOS (Homebrew) | brew uninstall ollama |
| macOS (安装包) | 删除Applications中的Ollama.app |
| Linux | sudo apt remove ollama (Debian/Ubuntu)sudo yum remove ollama (CentOS/RHEL) |
卸载后，建议手动删除配置目录 ~/.ollama，把下载的模型文件也清掉，省得占空间。
1.4 知识体系总览
下面这张图是我自己画的，把Ollama的核心逻辑串起来了。你看一遍就能明白它到底干了什么：
这张图展示了Ollama的三层架构：用户通过CLI或API发请求，核心引擎负责管理模型和推理，底层模型文件存储在本地。说白了，它就是一个帮你把大模型「本地化」的管家。
1.5 快速验证安装
安装完成后，我建议你立刻跑一个模型验证一下。以llama3为例：
ollama pull llama3
ollama run llama3看到提示符变成 >>> 就说明成功了。随便问它一句「你好」，看看它能不能正常回复。如果卡住了，检查一下网络——模型文件大概4-5GB，下载需要点时间。
个人习惯：我每次装完Ollama，第一件事就是跑 ollama list 看看有没有残留模型。然后跑一个最小的模型（比如tinyllama）测试速度。确认没问题了，再上大模型。
好了，这一章的内容就到这里。Ollama的安装其实没什么难度，关键是理解它的设计思路——把复杂的东西藏起来，让你专注于模型本身。下一章咱们聊聊怎么玩转模型管理，包括拉取、删除、导入自定义模型这些实操内容。