1. Ollama基础与环境搭建

大家好，我是你们的老朋友。今天咱们正式开始聊Ollama。

说实话，我第一次接触Ollama的时候，心里想的是——又一个AI工具？但用下来发现，这玩意儿确实有点东西。它把大模型的下载、部署、调用全给封装好了，你不需要折腾CUDA、Python环境、模型格式转换这些破事。说白了，Ollama就是大模型界的Docker。

1.1 Ollama是什么？

Ollama是一个开源工具，专门用来在本地运行大语言模型。它支持Llama、Mistral、Gemma、Qwen等主流模型。我个人习惯把它理解成一个「模型管家」——你告诉它要哪个模型，它自动下载、自动配置、自动启动服务。

为什么需要Ollama？你想想看，以前跑一个Llama模型，你得先装Python、装PyTorch、下载模型权重、写推理代码……这一套下来，没半天搞不定。Ollama把这些全简化了，一条命令搞定。

我在项目中遇到过一位同事，他为了跑一个7B模型折腾了两天，最后发现Ollama三分钟就搞定了。嗯，从那以后他逢人就安利Ollama。

1.2 安装与配置

安装Ollama非常简单。我建议你直接去官网下载对应系统的安装包。这里我列出主流系统的安装方式：

操作系统	安装方式	备注
macOS	下载.dmg安装包	支持Intel和Apple Silicon
Linux	curl -fsSL https://ollama.com/install.sh | sh	自动检测系统
Windows	下载.exe安装包	目前是预览版

安装完成后，验证一下：

ollama --version

如果看到版本号，说明安装成功了。我曾经在Ubuntu上装过一次，因为网络问题卡住了。后来发现是代理没配好。这里提醒一下：如果你在公司内网，记得配好HTTP代理。

1.3 模型下载与管理

Ollama的模型管理，核心就几个命令。我带你过一遍：

下载模型：

ollama pull llama3.2:1b
ollama pull qwen2.5:7b
ollama pull mistral:7b

这里有个细节：模型名称后面的「:1b」表示1B参数版本。不同版本大小差异很大，我建议你根据自己机器的显存来选择。8GB显存跑7B模型没问题，4GB的话建议选1B或3B版本。

查看已下载的模型：

ollama list

这个命令会列出你本地所有模型，包括名称、大小、修改时间。我曾经犯过一个错误——下载了十几个模型，把磁盘塞满了。后来养成习惯，定期用ollama list检查，不用的就删掉。

删除模型：

ollama rm llama3.2:1b

嗯，这里要注意：删除操作不可逆。如果你不确定要不要删，可以先备份一下模型文件。模型文件默认存放在~/.ollama/models/目录下。

1.4 命令行基础操作

Ollama的命令行操作，说白了就几个核心场景：运行模型、交互对话、API调用。

运行模型并对话：

ollama run llama3.2:1b

进入交互模式后，你可以直接输入问题。比如：

>>> 你好，请介绍一下你自己
我是Llama 3.2，一个1B参数的语言模型...

按Ctrl+D退出。这个交互模式适合快速测试模型效果。我平时调试模型时，经常用这个模式先跑几个问题看看效果。

API方式调用：

Ollama默认启动一个HTTP服务。你可以用curl调用：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:1b",
  "prompt": "你好，请介绍一下你自己"
}'

返回的是JSON格式，包含生成的文本。这种方式适合集成到你的应用里。

查看服务状态：

ollama ps

这个命令会显示当前正在运行的模型。我经常用它来检查有没有模型在后台偷偷跑着占显存。

1.5 知识体系总览

为了让你更直观地理解本章内容，我画了一张图：

这张图展示了Ollama的五大核心能力。安装配置是基础，模型管理是核心，命令行操作是日常，API调用是集成，监控管理是保障。五者缺一不可。

1.6 本章小结

好了，第一章的内容就这些。我们聊了Ollama是什么、怎么装、怎么管理模型、怎么用命令行。这些都是基本功，但非常重要。

我个人建议你：先装好Ollama，下载一个1B的小模型试试手。跑通了再上大模型。别一上来就搞70B，显存扛不住。

下一章，我们会深入聊模型热加载的原理和实现。嗯，那才是真正的硬核内容。

---

公众号:蓝海资料掘金营，微信deep3321