1、课程导学与环境准备:Ollama是什么、为什么选择离线部署、课程目标与前置知识、硬件与软件环境要求
1.1 Ollama到底是什么?
先说说Ollama。说白了,它是一个让你能在本地跑大语言模型的工具。我刚开始接触时也觉得奇怪——这东西不就是个封装好的启动器吗?后来用多了才发现,它把模型下载、推理、API服务这些繁琐的步骤全给包了。
你想想看,以前要跑一个Llama模型,得自己找权重文件、配Python环境、装PyTorch、写推理代码……折腾半天可能还跑不起来。Ollama呢?一条命令搞定:ollama run llama3。就这么简单。
我个人习惯把它理解成「大模型的Docker」。它管理模型的版本、依赖、运行环境,你只需要关心怎么用。嗯,这个比喻虽然不完全准确,但方向是对的。
1.2 为什么选择离线部署?
这个问题我经常被问到。其实原因很现实:
- 数据安全:我在项目中遇到过客户要求所有数据不能出内网。金融、医疗、政务这些场景,数据就是命根子。你想想看,把公司机密对话送到云端去推理?谁敢啊。
- 网络限制:有些机房压根没外网,或者带宽小得可怜。我曾经在某个涉密单位部署,连个pip源都得自己搭。这时候离线部署就是唯一选择。
- 成本控制:云端API按token收费,跑得多了一笔不小的开销。本地部署一次投入,后面基本就是电费。
- 延迟敏感:有些场景需要毫秒级响应,走网络来回那点延迟受不了。
核心观点:离线部署不是技术倒退,而是对可控性的极致追求。说白了,把命运掌握在自己手里。
1.3 课程目标与前置知识
这门课的目标很明确:让你从零开始,在完全离线的环境下把Ollama跑起来,并且能稳定提供服务。
具体来说,学完你能做到:
- 在无网络环境下安装Ollama
- 离线下载并加载模型
- 配置API服务供其他系统调用
- 处理常见的坑和性能问题
前置知识方面,我建议你具备:
- 基本的Linux操作(会敲命令、会看日志)
- 了解Docker的基本概念(不是必须,但有帮助)
- 知道什么是大语言模型(不用深究原理)
如果你完全没接触过Linux,嗯,可能会有点吃力。但别怕,我会尽量把每一步都拆细。
1.4 硬件与软件环境要求
这是最实际的部分。我直接说结论:
| 组件 | 最低要求 | 推荐配置 | 备注 |
|---|---|---|---|
| CPU | 4核 | 8核以上 | 推理时CPU也会参与 |
| 内存 | 8GB | 16GB以上 | 模型越大越吃内存 |
| GPU | NVIDIA 4GB显存 | 8GB以上显存 | 没有GPU也能跑,但慢 |
| 硬盘 | 20GB空闲 | 100GB以上 | 模型文件动辄几GB |
| 操作系统 | Ubuntu 20.04 | Ubuntu 22.04 | CentOS也行,但坑多 |
避坑指南:我曾经在一台只有4GB内存的机器上硬跑7B模型,结果系统直接OOM killed。后来学乖了——跑模型前先用free -h看看内存余量。记住,模型推理时内存占用是模型参数量的2-3倍。
软件方面,你需要准备:
- Linux操作系统(本课程以Ubuntu 22.04为例)
- NVIDIA驱动(如果有GPU)
- Docker(可选,但推荐)
- curl、wget等基础工具
对了,还有一点:确保你的机器能进入BIOS开启虚拟化。虽然Ollama不直接依赖,但后续如果要用Docker,虚拟化是必须的。
1.5 本章知识体系总览
下面这张图,是我梳理的本章核心逻辑。你看一眼就能明白整个课程的结构:
小提示:如果你手头只有一台旧笔记本,别灰心。我曾在2015年的MacBook Pro上成功跑过7B模型,虽然生成速度像蜗牛爬,但至少能验证流程。关键是先把环境搭起来,性能优化是后面的事。
好了,环境准备就聊到这儿。记住一句话:离线部署的核心不是技术多难,而是细节多。把基础打牢,后面就顺了。