2、硬件平台选型:主流边缘设备介绍

做视觉算法部署,第一步就是选硬件。这事儿我踩过不少坑,今天跟你聊聊几款主流边缘设备,以及怎么在算力和功耗之间做权衡。

2.1 主流边缘设备一览

目前市面上能跑视觉算法的边缘设备,我把它分成四类。每一类都有自己的脾气,选错了后面会很难受。

2.1.1 NVIDIA Jetson 系列

Jetson 系列是英伟达的亲儿子,生态最成熟。从入门到旗舰,覆盖了大部分场景。

型号 AI算力 功耗 典型场景
Jetson Nano 472 GFLOPS 5-10W 入门级视觉、教育
Jetson TX2 1.33 TFLOPS 7.5-15W 无人机、机器人
Jetson Xavier NX 21 TOPS 10-20W 中高端视觉、多路视频
Jetson Orin NX 70 TOPS 15-25W 实时检测、大模型推理

我个人习惯用 Xavier NX 做主力。为什么?因为它在算力和功耗之间找到了一个很好的平衡点。我曾经在一个智慧零售项目里,用 Nano 跑 YOLOv5,帧率只有 15fps,换成 Xavier NX 后直接飙到 45fps,功耗才多了 8W。

我的经验:Jetson 系列最大的优势是 CUDA 生态。你可以在 PC 上训练好模型,直接部署到 Jetson 上,几乎不用改代码。但要注意,Orin 系列虽然算力强,散热压力也大,被动散热基本压不住。

2.1.2 Rockchip RK3588

瑞芯微的 RK3588 是国产芯片里的一匹黑马。8核CPU + 6 TOPS NPU,价格只有 Jetson 的一半。

说实话,RK3588 的 NPU 用起来没有 CUDA 那么顺手。它的推理框架是 RKNN,需要把模型转成 .rknn 格式。我在一个安防项目里试过,转换过程踩了不少坑,特别是量化精度问题。

避坑指南:我曾经在 RK3588 上部署 MobileNetV3,直接转 INT8 量化后精度掉了 3 个点。后来加了校准数据集才稳住。如果你对精度要求很高,建议先用 FP16 跑通,再慢慢调量化。

但 RK3588 的优势也很明显——接口丰富。6路 MIPI CSI、双千兆网口、PCIE 3.0,做多路摄像头接入非常方便。而且功耗只有 8-12W,比 Jetson 省电不少。

2.1.3 树莓派 4B / 5

树莓派,嗯,怎么说呢。它是个好玩具,但不是个好部署平台。

树莓派 4B 的算力只有 0.1 TFLOPS 左右,跑个 MobileNet 都费劲。树莓派 5 稍微好点,但跟 Jetson 比还是差远了。我见过有人用树莓派跑人脸检测,帧率只有 5fps,基本没法用。

那树莓派适合什么场景?原型验证、教学演示、或者跑一些非常轻量的模型(比如 TinyML)。如果你要做产品级部署,我建议直接跳过树莓派。

2.1.4 Intel NUC

Intel NUC 本质上是一台迷你 PC。你可以装 Windows 或 Linux,插上 Intel 的神经计算棒(NCS2)或者直接用 CPU 推理。

NUC 的优势是通用性强。你可以在上面跑 OpenVINO,把模型优化成 IR 格式。我在一个工业质检项目里用过 NUC,配合 OpenVINO 跑 ResNet-50,推理速度比纯 CPU 快了 3 倍。

但 NUC 的功耗偏高,一般 15-28W,加上外设可能到 40W。而且体积比 Jetson 大一圈,不适合嵌入式场景。

2.2 算力与功耗的权衡

选硬件,说白了就是在算力和功耗之间找平衡。你想想看,一个 70 TOPS 的 Orin NX,功耗 25W,散热器比板子还大。而一个 6 TOPS 的 RK3588,功耗才 10W,被动散热就够了。

怎么选?我一般看三个指标:

  • 算力利用率:不是算力越高越好。我见过有人用 Orin 跑 MobileNet,NPU 利用率不到 20%,纯属浪费。
  • 功耗预算:电池供电还是市电?电池供电的话,功耗每多 1W,续航就少 30 分钟。
  • 散热条件:有没有风扇?机箱空间够不够?我曾经在一个密闭机箱里用 Xavier NX,温度飙到 85°C,直接降频。
我的经验公式:实际可用算力 = 标称算力 × 散热系数 × 功耗系数。散热系数:主动散热 0.9,被动散热 0.6。功耗系数:电池供电 0.7,市电 1.0。

2.3 硬件选型决策树

每次选型,我都会走一遍这个决策树。你可以照着来:

  1. 第一步:确定功耗预算
    • 电池供电(< 15W)→ 看第二步
    • 市电供电(> 15W)→ 直接看第三步
  2. 第二步:电池供电场景
    • 需要 10 TOPS 以上 → Jetson Xavier NX(10-20W)
    • 需要 5-10 TOPS → RK3588(8-12W)
    • 需要 < 5 TOPS → Jetson Nano(5-10W)
  3. 第三步:市电供电场景
    • 需要 50 TOPS 以上 → Jetson Orin NX(15-25W)
    • 需要 20-50 TOPS → Jetson Xavier NX(10-20W)
    • 需要 10-20 TOPS → RK3588(8-12W)
    • 需要 < 10 TOPS → 树莓派 5(5-8W)
  4. 第四步:考虑生态和接口
    • 需要 CUDA 生态 → Jetson 系列
    • 需要多路摄像头 → RK3588(6路 MIPI)
    • 需要通用性 → Intel NUC
    • 预算有限 → RK3588 或树莓派
一个小建议:如果你刚开始做边缘部署,我建议从 Jetson Xavier NX 入手。生态好、资料多、社区活跃。等跑通了,再根据实际需求换平台。我当年就是先买了 Nano,后来发现算力不够,又换了 Xavier NX,多花了一笔冤枉钱。

最后说一句,选型没有绝对的对错。关键是你得清楚自己的需求——要跑什么模型?多少路视频?电池能用多久?把这些想清楚了,选型就简单了。