第1章课程导论与硬件选型

1、课程导论与硬件选型：为什么要在嵌入式平台跑大模型？主流嵌入式AI芯片对比（Jetson、RK3588、树莓派5、TPU），硬件选型决策树

说实话，三年前有人跟我说要在树莓派上跑大模型，我肯定觉得他疯了。那时候大模型还是云端巨头的专属玩具，动辄几百GB的显存，谁碰谁死。

但这两年风向变了。我亲自在项目里踩过坑——客户要求一台巡检机器人必须本地推理，不能联网。你想想看，工厂车间里网络时断时续，把数据传到云端再等结果回来，黄花菜都凉了。

嵌入式平台跑大模型，核心就三个字：本地化。

核心观点：嵌入式大模型不是要取代云端，而是填补云端覆盖不到的角落。说白了，就是让AI从「数据中心」走到「设备边缘」。

选芯片这事儿，我吃过不少亏。刚开始做选型时，我只看算力，结果买回来发现功耗压不住，散热器比板子还大。后来我总结了一套自己的对比维度：算力、功耗、生态、价格、实际部署难度。

下面这四款是我这两年接触最多的，挨个说说我的真实感受。

芯片/平台	算力（INT8）	典型功耗	生态成熟度	参考价格	我的评价
NVIDIA Jetson Orin NX	100 TOPS	15W-25W	★★★★★	约4000元	大模型首选，生态无敌
RK3588	6 TOPS（NPU）	5W-10W	★★★☆☆	约800元	性价比之王，适合轻量模型
树莓派5	0.5 TOPS（GPU）	5W-10W	★★★★☆	约500元	适合学习，跑大模型吃力
Google Coral TPU	4 TOPS	2W	★★★☆☆	约300元	极致低功耗，但模型受限

如果你预算充足，Jetson Orin NX 是目前嵌入式跑大模型的「天花板」。100 TOPS 的算力，配合 NVIDIA 完整的 TensorRT 工具链，部署起来相当顺手。我去年用它在无人机上跑了 LLaMA-2 7B 的量化版本，帧率能做到 5-8 token/s，虽然不快，但够用。

不过要注意，Jetson 的功耗并不低。满负载跑大模型时，25W 的功耗加上散热风扇，整个模组会有点烫手。我建议你提前做好散热设计，不然降频后性能直接腰斩。

我的经验：Jetson 适合做「原型验证」和「小批量部署」。如果量产超过1000台，成本压力会很大。

RK3588 是我个人非常喜欢的一款芯片。6 TOPS 的 NPU 虽然不算高，但胜在功耗低、价格便宜。我帮一个客户做智能门禁项目，用的就是 RK3588，跑 MobileNet 和轻量级 Transformer 模型，效果很好。

但说实话，RK3588 的 NPU 生态还不够完善。NVIDIA 有 TensorRT，RK 这边只有 RKNN 工具链，支持的算子有限。我曾经在部署一个自定义注意力层时，发现 RKNN 不支持，最后只能手写 C 算子，折腾了两天。

避坑指南：如果你要部署的模型包含大量自定义算子，建议先查一下 RKNN 的算子支持列表。我曾经因为一个 LayerNorm 的实现不兼容，被迫改了模型结构。

树莓派5 的 GPU 算力只有 0.5 TOPS，跑大模型基本是「行为艺术」。但它的意义在于学习和验证。我刚开始接触嵌入式 AI 时，就是在树莓派上跑通了第一个图像分类模型。虽然慢，但整个流程走下来，对模型转换、量化、部署的理解会深很多。

如果你只是想入门，或者做原型验证，树莓派5 是个不错的起点。但别指望用它跑 7B 以上的模型，那会等到你怀疑人生。

Coral TPU 的功耗只有 2W，非常适合电池供电的场景。我见过有人在智能摄像头里用它做实时目标检测，效果不错。但它的局限性也很明显：只支持 TensorFlow Lite 模型，而且模型大小不能超过 8MB。

说白了，Coral TPU 适合跑「小模型」，比如 MobileNet、EfficientNet-Lite 这类。大模型就别想了。

选型这事儿，没有标准答案。我一般会按下面这个逻辑来问自己：

下面这张图是我自己整理的选型决策流程，你可以参考一下：

我的建议：如果你是第一次做嵌入式大模型，先买一块 Jetson Orin NX 开发板。虽然贵，但能帮你快速跑通流程，少走弯路。等有了经验，再根据实际需求降级到 RK3588 或其他平台。

嵌入式平台跑大模型，说白了就是「带着镣铐跳舞」。算力有限、内存有限、功耗有限，但偏偏要跑出接近云端的效果。这很考验工程师的优化能力，也很有意思。

我见过不少团队，一上来就追求大模型，结果发现嵌入式平台根本跑不动。其实很多时候，模型大小和业务效果并不成正比。一个精心调优的 1B 模型，在特定任务上可能比 7B 的通用模型表现更好。