一、课程导学与硬件选型：本地大模型能做什么
大家好，我是你们这趟本地大模型之旅的向导。说实话，这两年AI发展太快了，我身边不少朋友都在问：「我自己能不能在电脑上跑个大模型？」答案是肯定的。但怎么跑、用什么跑、跑起来能干啥——这就是咱们这门课要解决的问题。
先说说我自己的经历。去年有个项目，客户要求在内网部署一个智能客服系统，数据绝对不能出墙。那时候我就在想，要是能有个本地跑的大模型该多好。后来折腾了两个月，从硬件选型到模型部署，踩了不少坑。今天把这些经验整理出来，希望能帮你少走弯路。
本地大模型能做什么
说白了，本地大模型能干的事还真不少。我归纳了一下，主要有这么几类：
- 文本生成与对话：写文章、写代码、翻译、聊天，这些基础功能都能实现。我个人习惯用本地模型写一些技术文档，不用担心数据泄露。
- 代码辅助：代码补全、bug修复、代码解释。我在项目中试过用本地模型做代码审查，效果还不错。
- 知识库问答：把公司内部文档喂给模型，搭建专属的问答系统。这个场景我遇到过很多次，客户最关心的就是数据安全。
- 图像生成与理解：如果你有好的显卡，还能跑Stable Diffusion这类模型，生成图片或者分析图像内容。
- 语音处理：语音转文字、文字转语音，本地也能搞定。
核心观点：本地大模型最大的优势就是隐私保护和离线可用。你想想看，敏感数据不用上传到云端，这有多重要。
课程目标与学习路径
这门课的目标很明确：让你从零开始，在自己的电脑上搭建一个能跑大模型的环境。不需要你有多深的AI背景，但最好懂点Linux基础。
学习路径我设计成了三个阶段：
- 基础准备：硬件选型、环境搭建、工具安装。这部分咱们现在就在做。
- 模型部署：下载模型、配置推理框架、调优参数。这里我会分享一些我踩过的坑。
- 应用开发：搭建API服务、开发前端界面、集成到现有系统。这部分最实用。
嗯，这里要注意：不要想着一步到位。我刚开始的时候也犯过这个错，总想搞个大模型一步登天，结果折腾半天连环境都没配好。建议你跟着课程节奏来，每章都动手实践一下。
CPU/GPU/内存/硬盘选型指南
硬件选型这块，我把它分成四个维度来说。你想想看，大模型推理本质上就是大量的矩阵运算，所以对计算能力、内存带宽和存储速度都有要求。
CPU：别太较真
CPU在推理过程中主要负责调度和数据预处理。说实话，只要不是太老的CPU，基本都能用。我个人建议选个8核以上的，主频3.0GHz以上就够了。AMD和Intel都行，差别不大。
小提示：如果你打算用CPU跑模型（比如用llama.cpp），那CPU的核心数和频率就很重要了。但说实话，CPU跑大模型效率很低，我建议还是上显卡。
GPU：这才是主角
GPU是本地大模型的核心。没有好的显卡，很多模型根本跑不动。我根据经验把显卡分成了几个档次：
| 显卡类型 | 代表型号 | 显存 | 能跑的模型 | 我的评价 |
|---|---|---|---|---|
| 入门级 | NVIDIA RTX 3060 | 12GB | 7B以下模型 | 够用，但别想太多 |
| 进阶级 | NVIDIA RTX 4090 | 24GB | 13B-70B模型 | 目前性价比最高的选择 |
| 专业级 | NVIDIA A100 | 80GB | 70B以上模型 | 土豪专用，一般人用不到 |
| AMD | RX 7900 XTX | 24GB | 部分模型 | 兼容性是个问题 |
| Apple Silicon | M2 Ultra | 统一内存192GB | 大模型也能跑 | 统一内存是优势，但生态封闭 |
警告：我曾经遇到过客户买了AMD显卡，结果发现很多框架不支持，折腾了一个星期才搞定。如果你不是特别熟悉Linux和开源工具，我建议还是选NVIDIA。CUDA生态太强大了，这是不争的事实。
内存：越大越好
内存主要用来加载模型和缓存数据。一般来说，16GB是底线，32GB比较舒服，64GB以上就很宽裕了。我个人的习惯是：内存至少要是显存的2倍。比如你买了24GB显存的显卡，内存最好有48GB以上。
硬盘：速度是关键
大模型文件动辄几十GB，甚至上百GB。所以硬盘容量和速度都很重要。我建议：
- 容量：至少1TB NVMe SSD，最好2TB以上。模型文件、数据集、缓存，加起来很容易就超过500GB。
- 速度：NVMe协议，读取速度至少3000MB/s。SATA SSD太慢了，加载模型的时候你会崩溃的。
避坑指南：我曾经用机械硬盘加载一个13B的模型，等了整整15分钟。后来换成NVMe SSD，30秒就搞定了。这个差距，你感受一下。
主流显卡性能对比
咱们重点说说NVIDIA、AMD和Apple Silicon这三家的显卡。我直接说结论：
NVIDIA：行业标准
NVIDIA的CUDA生态太完善了。几乎所有的大模型框架都优先支持CUDA。你想想看，PyTorch、TensorFlow、llama.cpp、vLLM，哪个不是对NVIDIA优化得最好？
- 优点：生态完善、驱动稳定、框架支持好
- 缺点：贵、显存不够大（消费级最多24GB）
- 推荐型号：RTX 4090（24GB）是目前性价比最高的选择
AMD：性价比之选，但需要折腾
AMD显卡的显存通常更大，价格也更便宜。但问题是，很多框架对AMD的支持不够好。我去年试过用RX 7900 XTX跑Stable Diffusion，折腾了两天才搞定驱动。
- 优点：显存大、价格便宜
- 缺点：兼容性差、驱动问题多、社区支持弱
- 推荐型号：RX 7900 XTX（24GB），如果你愿意折腾的话
Apple Silicon：统一内存是杀手锏
Apple Silicon的M系列芯片，最大的优势是统一内存架构。你可以把192GB的内存全部当作显存用，这意味着你能跑非常大的模型。我有个朋友用M2 Ultra跑70B的模型，效果还不错。
- 优点：统一内存大、能效比高、安静
- 缺点：生态封闭、很多框架不支持、价格贵
- 推荐型号：M2 Max（96GB统一内存）或M2 Ultra（192GB统一内存）
我的建议：如果你是新手，直接买NVIDIA RTX 4090。别问为什么，问就是省心。如果你预算有限，可以考虑RTX 3060 12GB版本，入门完全够用。至于AMD和Apple Silicon，等你玩熟了再考虑。
知识体系总览
下面这张图，是我梳理的本章知识体系。你可以看到，硬件选型是整个课程的基础，后面所有的内容都建立在这个基础上。
这张图把硬件选型的核心逻辑都串起来了。你记住一句话：先确定你要跑多大的模型，再决定买什么显卡，最后配齐其他硬件。这个顺序千万别搞反了，我见过太多人先买显卡再发现显存不够用。
好了，第一章的内容就到这里。硬件选型这块，说白了就是「量体裁衣」。别盲目追求高端，够用就好。下一章咱们开始动手搭建环境，到时候你会感谢今天认真看硬件选型的自己。
公众号：蓝海资料掘金营，微信deep3321