1. Ollama 简介与安装

大家好，我是你们这趟课程的技术向导。今天咱们聊聊 Ollama——这个让本地跑大模型变得像喝水一样简单的工具。

说实话，我第一次接触大模型的时候，心里是有点发怵的。那时候想跑个 LLaMA，得折腾 Python 环境、CUDA 版本、模型权重下载……搞不好一整天就搭进去了。后来发现了 Ollama，嗯，真香。

Ollama 是什么？

Ollama 是一个开源的本地大模型运行工具。它把模型下载、环境配置、API 服务封装成了一个命令行工具。你只需要一条命令，就能在本地跑起 Llama、Mistral、Qwen 这些主流模型。

说白了，它就是大模型的「一键启动器」。我习惯把它比作 Docker——Docker 管容器，Ollama 管模型。

为什么需要 Ollama？

你可能会问：我用 OpenAI 的 API 不香吗？为什么要自己折腾本地模型？

我在项目里遇到过几次这样的情况：客户要求数据绝对不能出内网，但业务又需要大模型能力。这时候，Ollama 就是救命稻草。

另外几个场景也很典型：

• 成本控制：频繁调 API 的费用，够买几块显卡了
• 延迟敏感：本地推理比网络请求快一个数量级
• 离线环境：出差、演示、内网部署，没网也能干活
• 模型调优：想微调模型？本地跑起来再说

Ollama 的安装与配置

安装过程其实很简单。我分别说说三个平台的情况。

macOS

下载安装包，双击就行。或者用 Homebrew：

brew install ollama

Linux

一条命令搞定：

curl -fsSL https://ollama.com/install.sh | sh

Windows

去官网下载 exe 安装包，一路下一步。注意，Windows 版目前还是预览版，我建议在 WSL2 里跑更稳定。

配置 GPU 加速

如果你有 NVIDIA 显卡，装好 CUDA 驱动就行。Ollama 会自动检测。Apple Silicon 的 Mac 默认就用 Metal 加速，不用额外配置。

验证一下安装是否成功：

ollama --version

能看到版本号，就说明装好了。

Ollama 的基本命令

这部分我挑最常用的几个命令讲。你想想看，日常操作无非就是：下载模型、运行模型、查看状态、删除模型。

命令	作用	示例
ollama pull	下载模型	ollama pull llama3.2
ollama run	运行模型（交互模式）	ollama run llama3.2
ollama list	查看已下载的模型	ollama list
ollama ps	查看正在运行的模型	ollama ps
ollama stop	停止模型	ollama stop llama3.2
ollama rm	删除模型	ollama rm llama3.2

举个例子，我想跑一个 Qwen2.5 模型：

# 下载模型
ollama pull qwen2.5

# 启动交互式对话
ollama run qwen2.5

# 在对话中输入你的问题
>>> 你好，请介绍一下你自己

运行之后，你会看到一个 >>> 提示符。直接打字就能对话。退出的话，输入 /bye 或者按 Ctrl+D。

还有一个命令我经常用——ollama show。它能查看模型的详细信息，比如参数规模、上下文长度、使用的量化方式等。

ollama show llama3.2

输出会告诉你这个模型是 3B 还是 7B 版本，支持多长的上下文窗口。这些信息在做 API 集成时特别有用。

知识体系总览

下面这张图，是我梳理的 Ollama 核心知识结构。你可以把它当作学习地图：

这张图把 Ollama 的知识点分成了四个模块。咱们今天把左边四个都过了一遍。右侧的 API 兼容性，是后面章节的重点。

嗯，今天就到这里。工具装好了，命令也熟了，下一步就是让它真正干活了。

---