2、硬件平台选型:主流边缘设备介绍
做视觉算法部署,第一步就是选硬件。这事儿我踩过不少坑,今天跟你聊聊几款主流边缘设备,以及怎么在算力和功耗之间做权衡。
2.1 主流边缘设备一览
目前市面上能跑视觉算法的边缘设备,我把它分成四类。每一类都有自己的脾气,选错了后面会很难受。
2.1.1 NVIDIA Jetson 系列
Jetson 系列是英伟达的亲儿子,生态最成熟。从入门到旗舰,覆盖了大部分场景。
| 型号 | AI算力 | 功耗 | 典型场景 |
|---|---|---|---|
| Jetson Nano | 472 GFLOPS | 5-10W | 入门级视觉、教育 |
| Jetson TX2 | 1.33 TFLOPS | 7.5-15W | 无人机、机器人 |
| Jetson Xavier NX | 21 TOPS | 10-20W | 中高端视觉、多路视频 |
| Jetson Orin NX | 70 TOPS | 15-25W | 实时检测、大模型推理 |
我个人习惯用 Xavier NX 做主力。为什么?因为它在算力和功耗之间找到了一个很好的平衡点。我曾经在一个智慧零售项目里,用 Nano 跑 YOLOv5,帧率只有 15fps,换成 Xavier NX 后直接飙到 45fps,功耗才多了 8W。
2.1.2 Rockchip RK3588
瑞芯微的 RK3588 是国产芯片里的一匹黑马。8核CPU + 6 TOPS NPU,价格只有 Jetson 的一半。
说实话,RK3588 的 NPU 用起来没有 CUDA 那么顺手。它的推理框架是 RKNN,需要把模型转成 .rknn 格式。我在一个安防项目里试过,转换过程踩了不少坑,特别是量化精度问题。
但 RK3588 的优势也很明显——接口丰富。6路 MIPI CSI、双千兆网口、PCIE 3.0,做多路摄像头接入非常方便。而且功耗只有 8-12W,比 Jetson 省电不少。
2.1.3 树莓派 4B / 5
树莓派,嗯,怎么说呢。它是个好玩具,但不是个好部署平台。
树莓派 4B 的算力只有 0.1 TFLOPS 左右,跑个 MobileNet 都费劲。树莓派 5 稍微好点,但跟 Jetson 比还是差远了。我见过有人用树莓派跑人脸检测,帧率只有 5fps,基本没法用。
那树莓派适合什么场景?原型验证、教学演示、或者跑一些非常轻量的模型(比如 TinyML)。如果你要做产品级部署,我建议直接跳过树莓派。
2.1.4 Intel NUC
Intel NUC 本质上是一台迷你 PC。你可以装 Windows 或 Linux,插上 Intel 的神经计算棒(NCS2)或者直接用 CPU 推理。
NUC 的优势是通用性强。你可以在上面跑 OpenVINO,把模型优化成 IR 格式。我在一个工业质检项目里用过 NUC,配合 OpenVINO 跑 ResNet-50,推理速度比纯 CPU 快了 3 倍。
但 NUC 的功耗偏高,一般 15-28W,加上外设可能到 40W。而且体积比 Jetson 大一圈,不适合嵌入式场景。
2.2 算力与功耗的权衡
选硬件,说白了就是在算力和功耗之间找平衡。你想想看,一个 70 TOPS 的 Orin NX,功耗 25W,散热器比板子还大。而一个 6 TOPS 的 RK3588,功耗才 10W,被动散热就够了。
怎么选?我一般看三个指标:
- 算力利用率:不是算力越高越好。我见过有人用 Orin 跑 MobileNet,NPU 利用率不到 20%,纯属浪费。
- 功耗预算:电池供电还是市电?电池供电的话,功耗每多 1W,续航就少 30 分钟。
- 散热条件:有没有风扇?机箱空间够不够?我曾经在一个密闭机箱里用 Xavier NX,温度飙到 85°C,直接降频。
2.3 硬件选型决策树
每次选型,我都会走一遍这个决策树。你可以照着来:
- 第一步:确定功耗预算
- 电池供电(< 15W)→ 看第二步
- 市电供电(> 15W)→ 直接看第三步
- 第二步:电池供电场景
- 需要 10 TOPS 以上 → Jetson Xavier NX(10-20W)
- 需要 5-10 TOPS → RK3588(8-12W)
- 需要 < 5 TOPS → Jetson Nano(5-10W)
- 第三步:市电供电场景
- 需要 50 TOPS 以上 → Jetson Orin NX(15-25W)
- 需要 20-50 TOPS → Jetson Xavier NX(10-20W)
- 需要 10-20 TOPS → RK3588(8-12W)
- 需要 < 10 TOPS → 树莓派 5(5-8W)
- 第四步:考虑生态和接口
- 需要 CUDA 生态 → Jetson 系列
- 需要多路摄像头 → RK3588(6路 MIPI)
- 需要通用性 → Intel NUC
- 预算有限 → RK3588 或树莓派
最后说一句,选型没有绝对的对错。关键是你得清楚自己的需求——要跑什么模型?多少路视频?电池能用多久?把这些想清楚了,选型就简单了。