1、Ollama基础入门：Ollama是什么、Ollama的安装与配置、Ollama的架构原理、Ollama与主流大模型的关系
1.1 Ollama到底是什么？
先说说我的理解。Ollama，说白了就是一个大模型的「本地管家」。
你想想看，以前我们要跑一个开源大模型，比如Llama 2或者Mistral，得自己下载模型文件、配置Python环境、处理各种依赖冲突。我刚开始搞这个的时候，光装一个模型就折腾了大半天，最后还跑不起来。嗯，那感觉确实挺崩溃的。
Ollama的出现，就是为了解决这个痛点。它把模型下载、环境配置、API服务、命令行交互全部打包在一起。你只需要一条命令，就能在本地拉起一个大模型。
核心定义：Ollama是一个轻量级、可扩展的本地大模型运行框架。它支持多种开源模型，提供统一的API接口，让开发者可以像使用Docker一样使用大模型。
1.2 安装与配置：我踩过的坑
安装这块其实挺简单的，但我还是想分享一些个人经验。
1.2.1 系统要求
| 操作系统 | 最低配置 | 推荐配置 |
|---|---|---|
| macOS | 8GB内存，Intel/Apple Silicon | 16GB+内存，M1/M2芯片 |
| Linux | 8GB内存，NVIDIA GPU可选 | 16GB+内存，RTX 3060+ |
| Windows | 通过WSL2运行，8GB内存 | 16GB+内存，NVIDIA GPU |
1.2.2 安装步骤
macOS和Linux用户直接一条命令搞定：
# macOS
curl -fsSL https://ollama.com/install.sh | sh
# Linux
curl -fsSL https://ollama.com/install.sh | shWindows用户我建议用WSL2。我曾经试过直接在Windows上跑，结果各种路径问题。后来切到WSL2，世界清净了。
我的小技巧：安装完成后，先跑一下 ollama --version 确认版本。如果遇到权限问题，记得加sudo。我个人习惯把ollama服务设置为开机自启，省得每次手动启动。
1.2.3 配置优化
安装完别急着跑模型。先看看配置文件：
# 默认路径：~/.ollama/
# 主要配置文件：~/.ollama/config.json
{
"models": "/path/to/your/models", // 模型存储路径
"port": 11434, // API端口
"host": "127.0.0.1" // 监听地址
}这里有个坑。默认模型会下载到系统盘，如果你的C盘空间不够，记得改路径。我曾经因为没改路径，下载了三个模型后C盘直接爆红。
1.3 架构原理：一张图说清楚
Ollama的架构其实不复杂。我画了一张图，你看完就明白了：
这张图展示了Ollama的三层架构：
- 用户层：你通过CLI、API或者LangChain来调用Ollama
- 核心引擎：负责模型管理、推理调度、API路由
- 模型层：本地存储的各种开源模型文件
说白了，Ollama就是一个中间层。它把底层的模型加载、推理优化、内存管理这些脏活累活都干了，你只需要关心怎么用。
1.4 与主流大模型的关系
这里我重点说一下Ollama和主流大模型的关系。很多人容易搞混。
1.4.1 Ollama不是模型，是运行环境
Ollama本身不包含任何模型。它就像一个「模型播放器」。你下载什么模型，它就运行什么模型。
支持的模型包括但不限于：
| 模型名称 | 参数量 | Ollama命令 | 我的评价 |
|---|---|---|---|
| Llama 3 | 8B / 70B | ollama run llama3 |
综合能力强，首选 |
| Mistral | 7B | ollama run mistral |
轻量级，速度快 |
| Qwen 2 | 7B / 72B | ollama run qwen2 |
中文表现优秀 |
| Gemma | 2B / 7B | ollama run gemma |
Google出品，稳定 |
| CodeLlama | 7B / 34B | ollama run codellama |
代码生成专用 |
1.4.2 模型下载与运行
下载模型很简单：
# 下载并运行Llama 3
ollama run llama3
# 只下载不运行
ollama pull llama3
# 查看已下载的模型
ollama list注意：模型文件很大。7B模型大约4-5GB，70B模型要40GB以上。下载前先看看你的硬盘空间。我曾经在服务器上下载70B模型，结果下载到一半磁盘满了，还得重新来。
1.4.3 模型定制与Modelfile
Ollama还有一个很酷的功能——Modelfile。你可以像写Dockerfile一样定制模型：
# Modelfile 示例
FROM llama3
# 设置系统提示词
SYSTEM "你是一个专业的Python编程助手"
# 调整参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
# 添加自定义模板
TEMPLATE """
{{ .System }}
用户: {{ .Prompt }}
助手: """然后构建你的定制模型：
ollama create my-custom-model -f Modelfile这个功能我在项目中经常用。比如给客服机器人定制一个专属的提示词模板，或者调整温度参数让模型更「听话」。
1.5 避坑指南
最后分享几个我踩过的坑：
- GPU显存不足：7B模型大概需要6GB显存。如果你用CPU跑，内存至少要16GB。我曾经用8GB内存的笔记本跑7B模型，结果直接卡死。
- 模型版本问题：Ollama的模型标签和Hugging Face上的不完全一致。下载前先看看Ollama的模型库文档。
- 端口冲突：默认端口11434，如果被占用可以改配置。我遇到过和本地其他服务冲突的情况。
- 中文乱码：终端编码问题。建议用支持UTF-8的终端，比如iTerm2或者Windows Terminal。
我的建议：刚开始玩Ollama，先从7B模型入手。比如 ollama run mistral 或者 ollama run qwen2:7b。等熟悉了再上大模型。别一上来就搞70B，那玩意儿跑起来风扇呼呼的。
好了，Ollama的基础入门就聊到这儿。记住一句话：Ollama让本地跑大模型变得像喝水一样简单。下一章我们开始实战，用LangChain把Ollama集成到你的应用里。