一、嵌入式GPU与大模型概述
大家好，我是你们的讲师。在嵌入式AI这个领域摸爬滚打了快十年，从最早的树莓派跑个分类模型都卡顿，到现在能在Jetson上跑大模型，这变化确实让人感慨。今天咱们聊聊第一章——嵌入式GPU和大模型的基本概念。
说实话，我第一次在嵌入式设备上跑大模型时，心里也没底。但试过之后发现，这条路其实走得通。咱们一步步来看。
什么是嵌入式GPU
嵌入式GPU，说白了就是专门为嵌入式设备设计的图形处理器。它跟桌面GPU最大的区别在于——功耗低、体积小、集成度高。
目前市面上主流的嵌入式GPU平台有这么几类：
| 平台 | 代表产品 | 算力 | 功耗 | 适用场景 |
|---|---|---|---|---|
| NVIDIA Jetson | Orin NX、Xavier NX | 20-275 TOPS | 10-60W | 机器人、边缘服务器 |
| 瑞芯微NPU | RK3588、RK3568 | 6-12 TOPS | 5-15W | 智能安防、工业检测 |
| 华为昇腾 | Atlas 200 | 22-88 TOPS | 8-20W | 智慧交通、边缘计算 |
我个人习惯把Jetson系列当作首选。为什么？因为它的生态最成熟，CUDA和TensorRT的支持非常完善。我在项目中遇到过用瑞芯微NPU跑量化模型，精度掉得厉害，后来换成Jetson Orin才搞定。
小提示：选平台时别只看算力。我建议你重点关注两点：一是推理框架的支持程度，二是社区活跃度。这两点决定了你踩坑后能不能快速爬出来。
大模型推理的基本流程
大模型推理，听起来高大上，其实流程很清晰。我画了张图，你看完就明白了：
你看，流程其实不复杂。但真正落地时，每一步都有坑。比如模型加载这一步，我曾经在Jetson上加载一个7B模型，结果显存爆了。后来才发现是没做量化，FP16直接干满了8GB显存。
核心要点：大模型推理的本质就是「输入→计算→输出」的循环。每次生成一个Token，直到遇到终止符或达到最大长度。
为什么要在嵌入式设备上跑大模型
你可能会问：大模型不是应该在云端跑吗？为什么要折腾到嵌入式设备上？
嗯，这个问题我当年也想过。后来做了几个项目才明白，嵌入式推理有它不可替代的优势：
- 低延迟：数据不用上传云端，本地推理延迟可以控制在10ms以内。我在做机器人项目时，云端推理延迟200ms，机器人早撞墙了。
- 隐私保护：数据不出设备，这对医疗、金融场景特别重要。我记得有个客户，死活不肯把数据上传，最后我们直接在Jetson上跑模型。
- 离线可用：没有网络也能工作。野外巡检、矿井作业这些场景，网络信号基本为零。
- 成本优势：长期来看，边缘设备比云服务器便宜。你想想看，一台Jetson Orin NX才几千块，云服务器一年下来也得几万。
注意：嵌入式推理不是万能的。如果模型参数量超过100B，或者需要频繁更新权重，那还是老老实实用云端吧。我曾经试过在Jetson上跑175B的GPT-3，结果你懂的——根本跑不动。
课程目标与学习路径
这门课的目标很明确：让你能在嵌入式GPU上跑通大模型推理，并且跑得又快又稳。
具体来说，学完这门课，你应该能做到：
- 独立完成嵌入式GPU平台的选型和环境搭建
- 掌握模型量化和剪枝技术，把大模型塞进有限显存
- 熟练使用TensorRT、ONNX Runtime等推理框架
- 能优化推理性能，达到实时或准实时效果
学习路径我建议这样走：
| 阶段 | 内容 | 预计时间 |
|---|---|---|
| 基础篇 | 嵌入式GPU硬件、环境搭建、模型转换 | 2周 |
| 进阶篇 | 量化技术、推理框架、性能优化 | 3周 |
| 实战篇 | 端到端项目：LLM推理、多模态模型 | 3周 |
我个人建议你准备一块Jetson Orin NX或者Orin Nano，性价比最高。如果预算有限，用瑞芯微RK3588也能学，但有些CUDA相关的优化就体验不到了。
我的经验：别一上来就追求跑大模型。先从小模型开始，比如BERT、TinyLLaMA，把流程跑通再说。我见过太多人一上来就搞7B模型，结果卡在环境搭建上两周。
好了，第一章就到这里。记住一句话：嵌入式大模型推理，核心在于「在有限的资源里，榨出最大的性能」。后面我们会一步步拆解这个目标。