第1章 Ollama入门

一、Ollama入门：从零开始认识这个AI工具

说实话，我第一次接触Ollama的时候，心里想的是：「又一个AI框架？」但用完之后，我改变了看法。它解决了一个很实际的问题——让大模型在本地跑起来，而且简单到令人发指。

Ollama是什么？说白了，它是一个本地大模型运行工具。你可以把它理解成一个「模型管家」。你告诉它要跑哪个模型，它帮你下载、配置、启动，一条龙服务。我个人习惯把它叫做「AI界的Docker」——轻量、便携、开箱即用。

核心要点：Ollama不是模型本身，而是模型的运行环境。它封装了推理引擎、依赖库和API接口，让你只需关注模型本身。

你想想看，以前跑一个LLaMA模型要做什么？先装Python环境，再装PyTorch，然后下载模型权重，还要配置推理脚本……搞不好折腾一整天。我在项目中遇到过这种情况：团队花了两天配置环境，结果模型版本不兼容，全部重来。

Ollama把这些都简化了。一条命令下载模型，一条命令启动服务。嗯，就是这么粗暴。

安装Ollama，其实就三步。我建议你按这个顺序来：

以macOS为例，一条命令搞定：

curl -fsSL https://ollama.com/install.sh | sh

Windows用户更简单，下载exe文件直接安装。我曾经帮一个完全不懂命令行的同事装Ollama，五分钟搞定，他惊呼「这么简单？」

小技巧：安装完成后，建议设置环境变量 OLLAMA_HOST=0.0.0.0，这样局域网内其他机器也能访问你的Ollama服务。

Ollama的命令设计得很直观。我整理了一张常用命令表：

我最常用的是 ollama run。它会自动下载模型（如果本地没有），然后进入交互模式。你可以直接跟模型对话，就像在终端里聊天一样。

避坑指南：我曾经在服务器上直接 ollama run llama3.2:70b，结果内存爆了。大模型很吃资源，建议先看模型大小再决定。一般7B模型需要8GB内存，70B模型需要48GB以上。

模型管理这块，Ollama做得相当优雅。它使用模型标签（tag）来区分不同版本。比如 llama3.2:latest 和 llama3.2:7b 就是同一个模型的不同变体。

我个人习惯这样管理模型：

说到Modelfile，这是Ollama的一个亮点。你可以像写Dockerfile一样，定义模型的系统提示词、温度参数、上下文长度等。举个例子：

FROM llama3.2

# 设置系统提示词
SYSTEM "你是一个专业的RAG知识库助手，请用中文回答。"

# 调整参数
PARAMETER temperature 0.7
PARAMETER num_ctx 4096

然后运行 ollama create my-rag-assistant -f Modelfile，就能创建一个定制模型。我在做RAG项目时，经常用这种方式来预设模型行为，省得每次都要在代码里写提示词。

核心思路：模型管理的关键在于「版本控制」。我建议给每个模型打上明确的标签，比如 my-model:v1.0，方便回滚和对比。

下面这张图，是我对Ollama入门知识的梳理。你可以看到，整个体系围绕「安装-命令-模型管理」三条主线展开：

看到这张图，你应该能理解Ollama的定位了。它不是一个复杂的系统，而是一个「工具集」。你只需要掌握这三个维度，就能玩转本地大模型。

我的建议：刚开始别贪多。先装好Ollama，跑一个7B模型试试手感。等熟悉了基本命令，再去研究Modelfile和自定义模型。一步一步来，稳得很。

好了，Ollama入门就讲到这里。记住三个关键词：安装、命令、模型管理。下一章我们会深入Ollama的API调用，到时候你就知道它有多强大了。

公众号:蓝海资料掘金营，微信deep3321