3、硬件平台认知：主流嵌入式AI芯片架构对比与选型
做模型移植这些年，我接触过不少硬件平台。说实话，每次拿到一块新板子，第一件事不是跑demo，而是先看它的架构图。为什么？因为架构决定了你怎么切模型、怎么调算子、怎么榨干性能。
今天咱们就来聊聊市面上最主流的四款嵌入式AI芯片：NVIDIA Jetson、Rockchip RK3588、算能BM1684、地平线征程系列。我会从架构特点、适用场景、选型建议三个角度展开，顺便分享一些我在项目中踩过的坑。
3.1 NVIDIA Jetson系列：生态最成熟，但功耗偏高
Jetson系列，说白了就是英伟达把GPU塞进了嵌入式平台。从早期的TX2到现在的Orin，架构核心没变——GPU+CPU+加速器。
架构特点：
- GPU采用Turing或Ampere架构，支持CUDA核心
- 集成深度学习加速器（DLA），用于固定算子的硬件加速
- CPU通常是ARM Cortex-A系列，负责调度和预处理
我个人习惯把Jetson比作「移动版显卡」。你想想看，CUDA生态有多强大？PyTorch、TensorFlow直接支持，模型移植几乎零门槛。但代价也很明显——功耗高。Orin NX的功耗能到15W-40W，这在电池供电的场景下是个大问题。
3.2 Rockchip RK3588：性价比之王，但工具链需打磨
RK3588是瑞芯微的旗舰芯片，8nm工艺，ARM架构。它的NPU（神经网络处理单元）算力达到6TOPS，支持INT8量化。
架构特点：
- 4核Cortex-A76 + 4核Cortex-A55，大小核架构
- 独立的NPU，支持卷积、池化等常见算子硬件加速
- 内置GPU Mali-G610，可用于图形渲染或辅助计算
嗯，这里要注意一点：RK3588的NPU不是通用计算单元。它只支持特定算子，比如Conv2D、ReLU、MaxPool。如果你的模型里有自定义算子，比如某些特殊的激活函数，那就得走CPU回退。我曾经在项目中遇到一个模型用了GELU激活，结果NPU不支持，性能直接掉了60%。
3.3 算能BM1684：专为边缘计算设计，但生态封闭
算能（SOPHGO）的BM1684，我最早接触是在2021年。当时做安防项目，客户指定要用这颗芯片。它的架构很有意思——不是ARM，而是x86+TPU的组合。
架构特点：
- CPU采用x86架构（Intel或AMD），兼容性好
- TPU（张量处理单元）专门用于神经网络推理
- 支持INT8和FP16混合精度
说白了，BM1684就是把服务器端的TPU搬到了边缘。它的算力标称17.6TOPS（INT8），实际跑模型时，吞吐量确实不错。但问题在于工具链——算能自研的BMNNSDK，文档少、社区小。我记得有一次升级SDK版本，结果之前能跑的模型突然报错，查了两天才发现是算子注册表变了。
3.4 地平线征程系列：自动驾驶专用，但通用性受限
地平线的征程系列（Journey 3/5/6），我是在做ADAS项目时接触的。它的架构设计非常「偏科」——专门为视觉感知优化。
架构特点：
- BPU（Brain Processing Unit）是核心，支持卷积神经网络
- CPU采用ARM Cortex-A系列，负责控制逻辑
- 内置ISP（图像信号处理器），直接对接摄像头
为什么会这样设计？因为地平线瞄准的就是车载场景。征程5的BPU算力达到128TOPS，跑YOLOv5s能做到30fps以上。但如果你拿它跑NLP模型，比如BERT，那性能就惨不忍睹了——BPU不支持Transformer结构。
3.5 四款芯片对比表格
| 芯片型号 | 架构核心 | 算力（INT8） | 功耗 | 生态成熟度 | 适用场景 |
|---|---|---|---|---|---|
| NVIDIA Jetson Orin | GPU + DLA | 40-200 TOPS | 15-40W | ★★★★★ | 机器人、自动驾驶、高端边缘计算 |
| Rockchip RK3588 | ARM + NPU | 6 TOPS | 5-10W | ★★★★ | 智能家居、工业视觉、低功耗设备 |
| 算能BM1684 | x86 + TPU | 17.6 TOPS | 10-20W | ★★★ | 安防、边缘服务器、特定行业应用 |
| 地平线征程5 | ARM + BPU | 128 TOPS | 15-25W | ★★★ | 车载视觉、ADAS、自动驾驶 |
3.6 选型建议：从项目需求倒推
说了这么多，到底怎么选？我总结了一个简单的决策流程：
- 看功耗预算： 电池供电选RK3588或征程系列；有电源线选Jetson或BM1684。
- 看模型类型： 视觉模型优先考虑征程或Jetson；NLP模型只能选Jetson（GPU通用性强）。
- 看团队能力： 新手选Jetson（生态好）；老手可以挑战BM1684（性价比高）。
- 看量产成本： RK3588单价最低，适合消费级产品；Jetson最贵，适合高端设备。
我曾经帮一个客户选型，他们要做智能门锁，要求功耗低于5W、支持人脸识别。我直接推荐了RK3588——6TOPS算力够用，功耗才8W左右，配合NPU跑轻量级模型，完全没问题。如果当时选了Jetson，功耗直接翻倍，电池撑不过一天。
3.7 小结
这一章我们聊了四款主流嵌入式AI芯片的架构和选型。记住三点：
- Jetson生态最好，但功耗高
- RK3588性价比高，但算子支持有限
- BM1684和征程系列各有专长，适合特定场景
下一章，我们会深入模型量化技术——这是模型移植中最容易出问题的一环。到时候我会分享一个我踩过的「INT8量化精度崩盘」的案例，保证让你印象深刻。