3、硬件选型与评估：主流嵌入式平台对比
做嵌入式AI部署，第一步就是选硬件。这一步要是走偏了，后面全是坑。我这些年经手过不少项目，从智能摄像头到边缘推理盒子，踩过的雷能写本书。今天咱们就聊聊市面上几款主流平台，看看它们到底适合干什么。
3.1 主流平台速览
先列个清单。目前做轻量化Ollama部署，大家讨论最多的就是这四个：树莓派5、Jetson Nano、RK3588、ESP32-S3。嗯，你可能还会听到一些别的，但这四个基本覆盖了从入门到进阶的典型场景。
| 平台 | CPU | 内存 | AI算力 | 典型功耗 | 参考价格 |
|---|---|---|---|---|---|
| 树莓派5 | BCM2712 (4核A76) | 4GB/8GB LPDDR4X | ≈0.5 TOPS (CPU推理) | 5-15W | ¥400-600 |
| Jetson Nano | 4核A57 + 128核Maxwell GPU | 4GB LPDDR4 | 472 GFLOPS (≈0.5 TOPS) | 5-10W | ¥800-1200 |
| RK3588 | 4核A76 + 4核A55 + NPU | 8GB/16GB LPDDR4X | 6 TOPS (NPU) | 8-20W | ¥600-1500 |
| ESP32-S3 | 双核LX7 | 512KB SRAM + 16MB PSRAM | ≈0.01 TOPS (向量加速) | 0.3-1W | ¥30-80 |
看到这个表，你可能会问：树莓派和Jetson Nano算力差不多，为什么价格差一倍？别急，咱们一个一个拆开看。
3.2 树莓派5：入门首选，但别指望太多
树莓派5是2023年底发布的，CPU从4代的A72升级到了A76，性能提升明显。我个人习惯拿它做原型验证——说白了就是先跑通流程，再考虑移植到别的平台。
优点：
- 社区资源极其丰富，遇到问题一搜就有答案
- GPIO接口多，方便接传感器和外设
- 价格相对亲民，坏了不心疼
缺点：
- 没有专用NPU，全靠CPU硬扛。跑个7B模型？想都别想
- 内存最大8GB，跑Ollama的1.5B模型勉强够用
- 散热是个问题，满载时温度轻松上80°C
3.3 Jetson Nano：老将尚能饭否？
Jetson Nano是NVIDIA的老产品了，2019年发布的。虽然算力标称只有472 GFLOPS，但因为有GPU加速，实际跑模型比树莓派强不少。
优点：
- 有128核Maxwell GPU，支持CUDA加速
- NVIDIA官方提供了完整的AI工具链
- 功耗控制不错，5W模式很省电
缺点：
- 4GB内存是硬伤，跑大一点的模型直接OOM
- CPU是A57架构，太老了，单核性能弱
- 价格偏高，性价比不如RK3588
3.4 RK3588：国产之光，性价比之王
RK3588是瑞芯微2022年推出的旗舰芯片，6 TOPS的NPU算力在嵌入式领域相当能打。我最近几个项目都用的它，说实话，真香。
优点：
- 6 TOPS NPU，跑轻量化模型绰绰有余
- 8GB/16GB内存可选，16GB版本能跑7B模型
- 接口丰富：PCIe、USB3.0、MIPI、HDMI都有
- 价格比Jetson Nano便宜，性能还更强
缺点：
- NPU的软件生态不如NVIDIA成熟
- 社区资源相对少，遇到问题得自己啃文档
- 功耗比Jetson Nano高一点
3.5 ESP32-S3：极致低功耗，但只能跑微型模型
ESP32-S3是乐鑫的芯片，主打超低功耗和低成本。它没有传统意义上的NPU，但有一个向量指令集加速器，可以做一些简单的神经网络推理。
优点：
- 功耗极低，电池供电能跑很久
- 价格便宜，几十块钱一块
- WiFi/蓝牙集成，适合IoT场景
缺点：
- 算力太弱，只能跑极小的模型（比如TinyML级别的）
- 内存只有512KB SRAM，跑Ollama基本不可能
- 开发环境比较折腾，需要ESP-IDF
3.6 内存/算力/功耗评估：怎么选？
选型说白了就是三个维度的权衡：内存、算力、功耗。我总结了一个简单的决策树，你照着走就行。
# 选型决策伪代码
if 预算 < 100元:
选 ESP32-S3 (只能跑微型模型)
elif 需要电池供电 && 算力要求低:
选 ESP32-S3
elif 预算 400-600元 && 学习用途:
选 树莓派5
elif 需要跑 1.5B-3B 模型:
选 RK3588 (8GB版本)
elif 需要跑 7B 模型:
选 RK3588 (16GB版本) 或 Jetson Orin
elif 需要CUDA生态 && 预算充足:
选 Jetson Nano (但内存是瓶颈)
else:
选 RK3588 (不会错)
你想想看，这个决策逻辑其实很直白。内存决定了你能跑多大的模型，算力决定了推理速度，功耗决定了能不能用电池。三者不可兼得，必须有所取舍。
3.7 我的选型经验
做了这么多年嵌入式AI，我总结了几条铁律：
- 内存是第一优先级。算力不够可以等，内存不够直接崩。我见过太多人买了4GB的板子，结果模型加载都失败。
- 别迷信TOPS。标称6 TOPS的NPU，实际跑起来可能只有3 TOPS。因为模型量化、内存带宽、散热都会影响实际性能。
- 先跑通再优化。我习惯先用树莓派5跑通流程，确认模型能工作，再移植到RK3588上做性能优化。这样能省很多调试时间。
- 散热不是小事。RK3588满载时功耗能到20W，散热片小了直接降频。我有个项目就是因为散热没做好，推理速度从5 token/s掉到了1 token/s。
3.8 知识体系图
下面这张图总结了本章的核心逻辑，帮你快速建立选型框架：
这张图把四个平台在三个维度上的表现都标出来了。你看，RK3588在内存和算力上都是最优的，功耗虽然比ESP32-S3高，但换来的是能跑7B模型的能力。值不值？我觉得值。
3.9 小结
选型没有标准答案，只有最适合你项目的方案。我的建议是：
- 学习入门：树莓派5
- 产品原型：RK3588
- 极致低功耗：ESP32-S3
- CUDA生态依赖：Jetson系列（但注意内存）
嗯，今天就聊到这儿。记住，硬件选型是地基，地基没打好，后面盖的楼再漂亮也得塌。下一章咱们聊聊怎么在这些平台上搭建Ollama环境，到时候你就知道选对平台有多重要了。
公众号:蓝海资料掘金营，微信deep3321