边缘硬件选型:主流边缘设备与算力评估

做边缘AI落地,第一步就是选硬件。这事儿我踩过不少坑。

你想想看,模型在服务器上跑得飞快,一放到边缘设备上就卡成PPT。为什么?说白了,就是硬件没选对。今天咱们就聊聊Jetson Nano、RK3588、树莓派这三款主流设备,以及怎么评估它们的算力。

三款主流设备,各自什么脾气?

先说说我个人的使用习惯。这三款设备我都折腾过,各有各的脾气。

1. Jetson Nano:英伟达的AI小钢炮

Jetson Nano是我最早接触的边缘AI设备。它最大的优势是生态——CUDA、TensorRT、DeepStream,英伟达那一套东西全给你搬上来了。我在项目中用它跑过YOLOv5,128核Maxwell GPU确实给力。

但要注意,它的算力标称是472 GFLOPS(FP16),实际跑起来受功耗限制很大。我记得有一次做多路视频分析,温度一上来就降频,帧率直接腰斩。

核心参数:

  • GPU:128核Maxwell架构
  • CPU:4核ARM Cortex-A57
  • 内存:4GB LPDDR4
  • 算力:472 GFLOPS(FP16)
  • 功耗:5W-10W

2. RK3588:国产芯片的扛把子

RK3588是瑞芯微的旗舰芯片,8nm工艺,6TOPS的NPU算力。说实话,我第一次拿到开发板时挺惊讶的——这玩意儿能跑MobileNet到300+FPS。

它有个好处:CPU是4核A76+4核A55的大小核架构。我在做多模型流水线时,习惯把轻量模型丢给小核,重模型交给大核和NPU。这样功耗控制得特别好。

核心参数:

  • NPU:6 TOPS(INT8)
  • CPU:4×Cortex-A76 + 4×Cortex-A55
  • GPU:Mali-G610 MP4
  • 内存:8GB/16GB LPDDR4X
  • 功耗:5W-15W

3. 树莓派4B:入门首选,但别指望太多

树莓派嘛,大家都懂。便宜、社区活跃、资料多。但说实话,它的算力真的有限。VideoCore VI GPU虽然能跑OpenCL,但性能跟Jetson Nano比差了一个量级。

我曾经用树莓派跑过一个人脸检测模型,640×480的输入,帧率只有8-10FPS。嗯,做原型验证还行,真上产品得慎重。

核心参数:

  • GPU:VideoCore VI
  • CPU:4核Cortex-A72
  • 内存:2GB/4GB/8GB LPDDR4
  • 算力:约0.5 TOPS(INT8,估算)
  • 功耗:3W-7W

算力评估指标:TOPS和FPS,到底看哪个?

很多新手上来就问:这个芯片多少TOPS?其实TOPS只是理论峰值,实际落地要看FPS。

TOPS:理论天花板

TOPS(Tera Operations Per Second)是芯片的峰值算力。比如RK3588标称6 TOPS,意思是每秒能进行6万亿次INT8运算。

但这里有个坑:TOPS是在理想条件下测的,比如数据全在片上缓存、计算单元满负荷。实际跑模型时,内存带宽、数据搬运、算子效率都会打折扣。

我的经验:TOPS可以当参考,但别太当真。我见过标称4 TOPS的芯片,跑MobileNet还不如标称2 TOPS的。为什么?内存带宽不够,计算单元在等数据。

FPS:真实世界的性能

FPS(Frames Per Second)才是硬道理。它直接告诉你:这个模型在这个设备上,每秒能处理多少帧。

我一般这样评估:

  • 实时视频分析:至少25 FPS
  • 人脸检测/识别:15-20 FPS可接受
  • 目标跟踪:10 FPS以上

举个例子,我在RK3588上跑YOLOv5s(640×640输入),用NPU推理能到30 FPS。换成Jetson Nano,同样模型用TensorRT优化后大概25 FPS。树莓派?嗯,5-8 FPS,基本告别实时。

功耗与散热:被忽视的致命问题

这一点我必须强调:功耗和散热,往往比算力更关键。

功耗:不是标称值那么简单

芯片标称的功耗是TDP(热设计功耗),但实际功耗跟负载强相关。我做过测试:

设备 待机功耗 轻负载(1路视频) 重负载(4路视频+检测)
Jetson Nano 2.5W 5W 10W
RK3588 1.8W 4W 12W
树莓派4B 1.2W 3W 6W

避坑指南:我曾经在一个项目中,用Jetson Nano跑4路1080P视频分析,没加散热风扇。结果运行20分钟后,芯片温度飙到85°C,自动降频到800MHz,帧率从25掉到8。从那以后,我所有边缘设备都强制加散热方案。

散热方案怎么选?

我的建议很简单:

  • 被动散热(散热片):适合功耗<5W的场景,比如树莓派跑轻量任务
  • 主动散热(风扇):适合5-15W的场景,Jetson Nano和RK3588标配
  • 工业级散热(金属外壳+导热硅脂):适合长时间满载运行,比如7×24小时的视频分析

嗯,这里要注意:风扇虽然便宜,但会积灰。我在工厂项目里,每3个月就得清一次灰,不然散热效率下降30%。

选型决策:我的一般原则

说了这么多,到底怎么选?我个人的决策树是这样的:

  1. 预算有限、原型验证:树莓派4B,成本200-400元
  2. 需要GPU加速、英伟达生态:Jetson Nano,成本800-1200元
  3. 国产化要求、NPU算力强:RK3588,成本600-1000元
  4. 多路视频、高并发:RK3588(8GB版本)或Jetson Xavier NX

一个小技巧:如果你不确定选哪个,先买RK3588。它兼容性好,NPU和CPU都强,而且国产芯片现在支持力度大。我最近两个项目都用的它,没出过幺蛾子。

好了,硬件选型就聊到这儿。下一章咱们讲讲怎么搭建开发环境,包括刷系统、装驱动、配置推理引擎。到时候我会分享一些踩坑经验,保证让你少走弯路。